spark-connector 导入速度太慢

不是先后导入的,以前用importer 导入的,最近用spark-connector 导入的。
我后续试试看

importer我记得开始阶段先不让自动小保健
然后结束了 再启动一个大保健
所以你前端看比较快,writestall也没有
通常在批量加载的时候,自动小保健是没有意义的,因为数据overlap会很大,无意义的读写放大,不如最后一起大保健

1 个赞

阈值告警 是提示什么信息啊?
你分别用importer 和connector导入时,设置的并发度和batch数都一样吗,导入时数据库里的存量数据差别多少啊(也就是在importer导入前数据库的size和connector导入前数据库的size)

image

  • 自己设置的nebula 的一些后台指标,graph p系列,storage 点边的插入延迟等指标。
  • 导入数据时库里面的数据量差不了多少,导入的都是全量数据
    并发度:
  • importer , graph address 写了两个
    image
  • spark-connector 之前时 4 executor * 15 executor-excores

此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。