nebula无法查到历史数据问题

nebula 版本:2.6.2
部署方式:分布式
安装方式:RPM
是否为线上版本:Y
硬件信息
磁盘:8x12T HDD
-CPU:40核
-内存:192G
问题的具体描述:
storage重启时导致meta负载很高,meta频繁打印session连接,studio此时会卡主,响应很慢。待storage启动完毕后,meta和studio恢复正常。在此期间重启过meta服务。等到服务恢复正常后在执行show stats语句,发现数据量较之前相比减少了,之前可以fetch的数据也查不到了(基本每个space都存在这个现象)。想请教下,什么情况下会触发数据减少的情况,非手动删除数。我这边想结合一下会出现此问题的情况细致的排查一下。谢谢

你之前有统计过数据么?

统计过。
12.05号统计的show stats 和spark导出数据量的对比
0880c08b01108ecbca24
目前数据量



1 个赞

要么是delete,要么是TTL, schema过期之类的

好的,我这边看看这些的配置,谢谢

还得请教一下部分数据丢失一般是什么原因造成呢,像您说的delete、TTL、schema这种可以设置周期的一般都是delete删除的space、tag、edge或者TTL对应的tag、edge等数据全部丢失吧。

我觉得问题很有可能出在TTL(如果您有使用的话)。TTL过期的数据是在compaction时才会进行删除。正常的读写路径在读到时会检查是否已经过期,所以这部分是没有问题的。但是 show stats中它并没有去check ttl,所以导致它记录一些本应删除的数据。之后rocksdb进行了compaction,这部分数据就没有了,show stats就不会再看到。

严格来讲这种情况不能算是数据丢失,只是一些该删的没有删。。。

自动compaction是开启状态。咱们TTL的属性可以通过类似DESC命令查看吗,我想看下有没有设置过TTL之类的。

可以的。但是你要desc每一个tag

是这样吗,这个命令好像看不出来呀
1)创建tag


2)添加TTL选项

3)submit job stats并且show stats

4)DESC TAG t1

需要通过show create tag t1命令查看

如果没有设置过TTL,出现这种情况会是什么可能,看日志也没有关于一些删除标记的内容。如果有的话,有什么关键字吗

类似的问题,以上面帖子回复为准啦。这个帖子先行关闭了。