nebula 版本:2.6.2
部署方式:分布式
安装方式:RPM
是否为线上版本:Y
硬件信息
磁盘:8x12T HDD
-CPU:40核
-内存:192G
问题的具体描述:
storage重启时导致meta负载很高,meta频繁打印session连接,studio此时会卡主,响应很慢。待storage启动完毕后,meta和studio恢复正常。在此期间重启过meta服务。等到服务恢复正常后在执行show stats语句,发现数据量较之前相比减少了,之前可以fetch的数据也查不到了(基本每个space都存在这个现象)。想请教下,什么情况下会触发数据减少的情况,非手动删除数。我这边想结合一下会出现此问题的情况细致的排查一下。谢谢
你之前有统计过数据么?
要么是delete,要么是TTL, schema过期之类的
好的,我这边看看这些的配置,谢谢
还得请教一下部分数据丢失一般是什么原因造成呢,像您说的delete、TTL、schema这种可以设置周期的一般都是delete删除的space、tag、edge或者TTL对应的tag、edge等数据全部丢失吧。
我觉得问题很有可能出在TTL(如果您有使用的话)。TTL过期的数据是在compaction时才会进行删除。正常的读写路径在读到时会检查是否已经过期,所以这部分是没有问题的。但是 show stats中它并没有去check ttl,所以导致它记录一些本应删除的数据。之后rocksdb进行了compaction,这部分数据就没有了,show stats就不会再看到。
严格来讲这种情况不能算是数据丢失,只是一些该删的没有删。。。
自动compaction是开启状态。咱们TTL的属性可以通过类似DESC命令查看吗,我想看下有没有设置过TTL之类的。
可以的。但是你要desc每一个tag
如果没有设置过TTL,出现这种情况会是什么可能,看日志也没有关于一些删除标记的内容。如果有的话,有什么关键字吗
类似的问题,以上面帖子回复为准啦。这个帖子先行关闭了。