大量插入数据时报错Storage Error: part: 57, error: E_CONSENSUS_ERROR(-3001)

  • nebula 版本:2.5.1
  • 部署方式:分布式
  • 是否为线上版本:Y / N
  • 硬件信息
    SSD 400G
    • CPU 24核、内存 50g(nebula的内存使用率很低,大概10%,cpu大概40%。)
  • 问题的具体描述

大量插入数据时报错Storage Error: part: 57, error: E_CONSENSUS_ERROR(-3001),如果手动连console执行相应的Insert语句没问题,数据量小的时候也没问题.看到论坛里有说可能是raft append log buffer overflow的问题。但是没找到什么解决方案。有相应配置可以解决这个问题吗

论坛里搜下以前的帖子吧 同时导入同一个点出边 会报这个错。有个参数可以缓解max_batch_size,但是作用不大,最好业务端加重试。

1 个赞


升级到2.6.1之后,出现这个错误,大批量同步出现这个问。现在我只手动同步一条数据,都报这个错。

跟版本没关系 多数出问题就是在导入边的时候 在同一时间大量写入一个点的边 导致overflow 业务端需要加点重试

我线上有1500万的关系数据,200个并发,1000条插一次,量是挺大的。发现只要报这个错误之后,其他点的边也插入不进去,即使只插入一条也不行,重启也不行。边的类型都是一样,不知道是不是这个原因?