storage 服务CPU 打满

提问参考模版:

  • nebula 版本:3.4.1
  • 部署方式: 分布式
  • 安装方式:RPM
  • 是否上生产环境:Y
  • 硬件信息
    • 磁盘( 推荐使用 SSD)
    • CPU、内存信息
  • 问题的具体描述
    最近两次碰到夜间同步完 全量数据,然后full compact 之后,在白天10:00 左右,某个节点(两次都是这个节点)的
    storage 服务,把CPU 打满,导致服务不可用。

当前解决把storage 重启之后即可恢复,现在的问题是两次碰到查看日志不清楚原因,麻烦大佬帮忙看看什么原因导致的

  • 相关的 meta / storage / graph info 日志信息(尽量使用文本形式方便检索)
    meta: 当前节点没什么日志,最后是如下,但是实际上show jobs 显示6:24 compact 已经结束.
    其他节点meta: resp list sessioon… 一直在大量的刷
I20250107 03:25:23.617980 28605 GetSpaceProcessor.cpp:18] Get space Failed, SpaceName General error: E_LEADER_CHANGED
I20250107 03:25:23.766137 28595 GetSpaceProcessor.cpp:18] Get space Failed, SpaceName General error: E_LEADER_CHANGED
I20250107 03:25:23.766144 28601 GetSpaceProcessor.cpp:18] Get space Failed, SpaceName General error: E_LEADER_CHANGED
I20250107 03:25:23.767212 28605 GetSpaceProcessor.cpp:18] Get space Failed, SpaceName General error: E_LEADER_CHANGED
I20250107 03:25:25.093137 28605 GetSpaceProcessor.cpp:18] Get space Failed, SpaceName General error: E_LEADER_CHANGED
I20250107 03:25:25.110491 28605 GetSpaceProcessor.cpp:18] Get space Failed, SpaceName General error: E_LEADER_CHANGED
I20250107 03:25:25.610273 28605 GetSpaceProcessor.cpp:18] Get space Failed, SpaceName General error: E_LEADER_CHANGED
I20250107 03:25:27.079329 28605 GetSpaceProcessor.cpp:18] Get space Failed, SpaceName General error: E_LEADER_CHANGED
I20250107 06:43:46.611835 28555 EventListener.h:21] Rocksdb start compaction column family: default because of LevelL0FilesNum, status: OK, compacted 5 files into 0, base level is 0, output level is 1
I20250107 06:43:46.643215 28555 EventListener.h:35] Rocksdb compaction completed column family: default because of LevelL0FilesNum, status: OK, compacted 5 files into 1, base level is 0, output level is 1

Graph , Storage 日志较多,删除了今天之前的,如下

nebula-storaged.nebula-server-01.root.log.INFO.20241211-035503.30037 (1.7 MB)
nebula-graphd.nebula-server-01.root.log.WARNING.20241218-190202.8992 (9.6 MB)
nebula-graphd.nebula-server-01.root.log.WARNING.20241218-190202.8992 (9.6 MB)