v2 nightly版本升级到2.0.0版本,同exchange配置文件导入数据异常缓慢,问:如何才能提高导数据的并发量和速度

nightly升级到2.0.0是个啥过程??

关于如何提升Exchange的导入速度,论坛有相关的博客可以参考,你可以搜一下。
简单的可以提升性能的几个配置:

  1. spark partition配置, 即tags和edges中的partition
  2. batch
  3. rate.limit

适当提高这几个配置可以提高导入的并发度。 前提是在提交Exchange任务时要分配好executor的数目,尽量保持partition数是executor 总核数的2-3倍。