exchange和Spark Writer什么关系?

  1. Exchange是由Spark Writer迁移而来,且在Spark Writer的基础上提供了更丰富的数据源,如MySQL、Neo4j、Hive、HBase、Kafka、Pulsar等。
  2. 而且Exchange修复了关于hdfs 文件导入时存在的数据类型与Nebula Schema数据类型不匹配的问题(如hdfs文件被Spark读成DataFrame时默认的数据类型均为String,当Nebula 中schema为int、double等类型时无法完成导入)。
  3. 后期的维护工作将集中在Exchange上。

建议利用spark进行数据导入时使用Exchange。

2 个赞