导入速度的影响因素主要有三方面:
- 前端 importer 并发度,也就是你现在调整的 batch 大小和 concurrency;
- 后端 nebula storage 的写入速度,磁盘还有 storage 的配置都会有影响;
- 数据的分布,如果数据倾斜,比如有稠密点也是会影响导入速率的;
所以从上面三点找是否到达机器的最大负载。在 importer 发压的时候,可以关注一下机器的磁盘写入速率 wps,如果达到硬件的极限值,importer 调整都没用的。
从你的描述看调整参数后数率会上升然后缓慢下降,那确认一下数据的分布是否有倾斜的情况?因为 storage 始终是 partition 的 leader 来写,当大量的数据发给了同一个 partition 的时候,是会影响整体的写入性能。