nebula-importer导入时,创建tag和edge并配置ttl选项时,导入数据越来越慢,且cpu占用率很低

nebula-importer导入csv,节点500w,关系1500w。不配置ttl选项时,入数据的速度比较稳定,而且很快。配置ttl选项,入数据的速度不断变慢,且每台机器上cpu的使用率基本为0。查看日志没有有效的错误信息。

环境:

  • nebula 版本:v2.6.1
  • 部署方式:分布式 ,三台机器
  • 安装方式: RPM
  • 是否为线上版本: N
  • 硬件信息
    • 磁盘: 普通磁盘
    • CPU、内存信息


1 个赞

这个不太可能吧? 你确定是因为ttl的原因.
ttl不会影响导入速度的, 只会略微影响查询速度(读数据出来后需要根据ttl过滤下数据).

我将数据全部清空反复测试过多次,在不加ttl的语句时,入数据很快,而且比较平稳。是和compaction有关系吗?

compaction 日志

导入过程中没关掉compaction吗? 如果没关掉的话, 带ttl导入的时候, compaction会带一个filter, 去过滤掉过期的数据, 这样的话, 确实可能影响到入速度. 一般导数据时最好关掉自动compaction.

1 个赞

此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。