Nebula从3.2.0升级到3.4.0出现点数据丢失情况

后来找了同事帮忙加了日志打印,好像是你们用来判断ttl的地方。(now > (v.getInt() + ttlDuration)) ,让同事帮忙把v.getInt()打印了出来,结果是-2488135113611673588这个值。
顺带说一下,我们不是自己源码编译安装的,是docker部署的,只是为了定位问题用源码编译换包验证了一下。打印出这个值的操作是,在源码加了日志,然后使用你们提供的docker编译,然后换包启动了。现在已经换回你们官方的包了

除了在日志追加了v.getInt()这个值,没有任何其他操作

而且-2488135113611673588这个值出现了好多次

如果能动代码, 在这里加个日志, 把结果贴上来我看下. (可以在你的测试环境弄)

另外, 你回忆下是否改过ttl的过期时间或者schema字段类型之类的.

没有改过ttl的过期时间,也没动过schema。测试环境没有出现过丢失的情况,我可以先加上,等下周的升级窗口,我把这个代码带上,然后看下。感谢

有更新的话,记得来翻新下帖子哈。

升级窗口没赶上 :joy:,我更新下帖子。防止帖子关闭

帖子关闭是在最后一条信息的 30 天之后

mark下

mark下,争取到了5月20号,5月21号操作我们线上环境的时间窗口。到时候我拿到相应信息再回帖

数据.7z (1.4 MB)

链接:百度网盘 请输入提取码
提取码:i858

上次为了不影响数据,已经把ttl改成0了。所以这次的操作是,在修改ttl之前先查询一下数据,然后导出csv。然后修改ttl为30天,以前丢数据也是30天。然后执行compact,出现数据丢失。再次查询数据,导出csv。

最终数据压缩为数据.7z,已上传。这期间的日志上传百度网盘,百度网盘链接已贴

表结构为:CREATE TAG ai_rca_incident_tag ( status bool NULL, is_new bool NULL, description string NULL, level int64 NULL, incident_append_alerts string NULL, incident_type string NULL, slave_incidents string NULL, master_incidents string NULL, params string NULL, create_time timestamp NULL, modify_time timestamp NULL, custom string NULL, incident_alerts string NULL, account_id string NULL, root_causes string NULL COMMENT “根因列表” ) ttl_duration = 0, ttl_col = “create_time”

丢数据了?

是的

@critical27 再看下?

请问,有进展吗?

@critical27 麻烦问下,这个有进展了吗?

此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。