压测数据丢失问题

  • nebula 版本:2.5.1
  • 部署方式:分布式
  • 安装方式: RPM

关闭了自动compaction,试着在一个2T内存的服务器搭建位居群导入了80亿数据,没问题。然后同样的数据往阿里云搭建的集群导入,发现丢了大约20亿数据。

看了下日志,没有数据方面的报错。唯一的操作区别是阿里云数据导入到一半的时候,我手动提交了compact任务,我猜想这个会不会引起数据丢失问题?

数据导入跟, compaction 都会大量消耗 CPU, 两个一起做的话, insert 会有大量失败的. 批量导入还是等到倒完了之后再把 compaction 打开.

1 个赞

那么如果是打开自动compaction的情况下,导入也会大批量失败么?

这个我们公司本周刚测试,未关闭compaction,观察日志发现,一边入库,一边进行compact操作,入库效率会慢很多,导入未失败(100亿),仅供参考

CPU 被打满就会

你们是自动compaction么?

好的,谢谢

是的,节点太多,关起来太麻烦,batchsize整小点,没失败过,就是时间长点

我这边设置了4096呢,也不大。你那边是不是有重试机制呢?

此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。