nebula-importer导入数据越跑越慢

问答 问题
,
1

使用nebula-importer工具，导入三副本的数据，点边之和大约在2亿。从打印日志来看，数据导入速率越来越慢，短短几分钟，从最初的6万每秒到6千每秒。请教一下这是什么原因？如何调优？

导入yaml配置文件部分参数如下
batch: 12800
readerConcurrency: 50
importerConcurrency: 512
statsInterval: 10s

2

建议batch 调小点，wal ttl 时间调小点

另外，看下监控等

其他的配置看 机器和集群的能力了

3

估计和自动compaction有关，建议加大后台compaction的并发，在storaged.conf中修改
–rocksdb_db_options={“max_subcompactions”:“24”,“max_background_jobs”:“24”}
这个数值和你的节点的cpu核数相关，建议配个1/2核数

1 个赞
4

此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。