nebula 3个节点间数据不均衡

  • nebula 版本:3.6
  • 部署方式: 分布式
  • 安装方式: RPM
  • 是否上生产环境:Y
  • 硬件信息
    • 磁盘 SSD
    • CPU、内存信息 128核 300G
  • 问题的具体描述
  • 之前每个节点的数据量为900G,昨天下午17:30过后1节点的存储量一直升高到撑满然后释放了一些,其他2个节点一直正常,我们的分片副本数是1,所以也没法做balance,现在查询任务分发到1节点的都很慢
  • 相关的 meta / storage / graph info 日志信息(尽量使用文本形式方便检索)
    当时有个重建索引的任务,其他2个节点很快建完了,这个节点跑了很久,空间爆的时候报 heartbeat failed, status: Unknown error -3521!
    Write operation Failed

现在做compact,2,3节点早就做完了,1节点特别慢,18个小时了日志也没有输出,只有最开始的start compact