nightly升级到2.0.0是个啥过程??
关于如何提升Exchange的导入速度,论坛有相关的博客可以参考,你可以搜一下。
简单的可以提升性能的几个配置:
- spark partition配置, 即tags和edges中的partition
- batch
- rate.limit
适当提高这几个配置可以提高导入的并发度。 前提是在提交Exchange任务时要分配好executor的数目,尽量保持partition数是executor 总核数的2-3倍。
nightly升级到2.0.0是个啥过程??
关于如何提升Exchange的导入速度,论坛有相关的博客可以参考,你可以搜一下。
简单的可以提升性能的几个配置:
适当提高这几个配置可以提高导入的并发度。 前提是在提交Exchange任务时要分配好executor的数目,尽量保持partition数是executor 总核数的2-3倍。