图库查询报错E_LEADER_LEASE_FAILED -3531 、storage error not the leader of xxx

:fire: 如果安装部署失败,不妨试试【免配置】【免安装】的 :cloud: 云服务,拷贝访问:计算巢认证合作伙伴—NebulaGraph
:warning: NebulaGraph Cloud 的用户记得标签选用:NebulaGraph-Cloud,会有更高的回复优先级哟^^

提问参考模版:

  • nebula 版本:3.3.0
  • 部署方式:分布式 * 20 台
  • 安装方式:RPM
  • 是否上生产环境:Y
  • 硬件信息
    • 磁盘( SSD)10T *10
    • CPU、内存信息 512G

数据量 边1000亿条 点 100亿
前两天机房异常断电,断电恢复后就部分查询失败 使用go 语句 有的时候报storage error not the leader of xxx ;使用match 报 E_LEADER_LEASE_FAILED -3531

storaged INFO日志 所有节点一直在刷:nebulasnapshotManger.cpp space 1 part xxx start send snapshot of commitlog xxx rate limited to xxx batch size is xxx
ERROR 日志没有什么重要的信息

metad 日志 也没有,graphd日志 报一些如标题的错误

xx我执行过一次balace leader 状态都是完成 ,不知道有没有影响。

show hosts 下看下服务状态?

都是正常的。。。重启storage 感觉加载的很慢,正常情况下内存会占百分之50左右,现在重启了一天了,每个节点才加载10%

cache 的话慢我觉得是可能的,但不应该影响正常查询才是

不是慢,是压根不工作,cpu利用率很低每个节点。。。我手动执行了 compact 不知道有啥作用不。。

这个还在刷的话是节点间在同步数据,可以看下网络和磁盘是不是都比较忙。需要的话,这个batch size配置加个0来看看是否可以加快同步数据。

目前不太好判断数据会不会出问题。