nebula-importer导入数据越跑越慢

使用nebula-importer工具,导入三副本的数据,点边之和大约在2亿。从打印日志来看,数据导入速率越来越慢,短短几分钟,从最初的6万每秒到6千每秒。请教一下这是什么原因?如何调优?

导入yaml配置文件部分参数如下
batch: 12800
readerConcurrency: 50
importerConcurrency: 512
statsInterval: 10s

建议batch 调小点,wal ttl 时间调小点

另外,看下监控等

其他的配置看 机器和集群的能力了

估计和自动compaction有关,建议加大后台compaction的并发,在storaged.conf中修改
–rocksdb_db_options={“max_subcompactions”:“24”,“max_background_jobs”:“24”}
这个数值和你的节点的cpu核数相关,建议配个1/2核数

1 个赞