nebula-bench导入数据时报错"unsupported client version"

图说天下 · 2023 年9 月 5 日 07:25

Importer执行逻辑和输出信息优化

opened 07:24AM - 05 Sep 23 UTC

**Is your feature request related to a problem? Please describe.** 1) Importer …导入速度比较慢，用户无法提前预知导入需要花费的时间； 2) Importer 执行过程中因为磁盘剩余空间不足，异常退出; 3) Importer 目前不支持断点续传。 **Describe the solution you'd like** 1. Import 执行过程的输出建议增加更有意义的性能指标, 现在控制台输出的只能看到: 当前已经导入了多少条记录和网络延时，用户可能更希望看到的是每秒导入了多少条记录类似于tpmc这种性能指标。改进建议如下： 1) Importer执行时，建议输出结果加个进度条显示或者增加进度说明。例如：一共多少个csv文件，当前处理的是哪个csv文件，本csv文件一共需要导入多少条记录现在导入了多少条记录预计需要花费的时间。 2. 导入测试数据集前对磁盘容量进行检测，如果剩余磁盘空间小于预估的容量，则报错提示无法导入预估容量的计算要考虑到底层存储的问题，例如底层存储使用了RocksDB的话，会有写放大的问题出现，这样可能会占据更多的磁盘空间； 4. )断点续传：例如有20个csv文件，已经完成了10个，在导入第11个文件的时候因为磁盘空间不足导致导入中断，下次再运行导入程序能不能从第11个文件开始，不用再重复导入已经完成的文件。 **Describe alternatives you've considered** **Additional context**

图说天下 · 2023 年9 月 6 日 01:35

导入性能需要优化啊，一共花了6个多小时(2023/09/06 00:35:04 Finish import data, consume time: 22817.45s) 才全部导入成功。

steam · 2023 年9 月 7 日 02:57

导入性能优化的话，可以看看这篇文章使用秘籍｜如何实现图数据库 NebulaGraph 的高效建模、快速导入、性能优化

system · 2023 年9 月 14 日 02:58

此话题已在最后回复的 7 天后被自动关闭。不再允许新回复。