项目代码: https://github.com/vesoft-inc/nebula-spark-utils/tree/master/nebula-exchange
- 特性
- 支持 String 类型的 VID 导入
- 支持 null、Date、DateTime、Time 数据类型的导入
- 支持 Hive on Spark 以外的 Hive 数据源的导入
- 新增对导入失败的 INSERT 语句的记录和重试
- 编译
Nebula Exchange 2.0 依赖最新的 Nebula Java Client 2.0,而非 nebula-client-2.0.0-beta.jar 。
-
编译打包 Nebula Java Client 2.0
$ git clone https://github.com/vesoft-inc/nebula-java.git $ cd nebula-java $ mvn clean install -Dmaven.test.skip=true -Dgpg.skip -Dmaven.javadoc.skip=true
打包结束后,在本地 Maven Repository 仓库中可以看到生成的 /com/vesoft/client/2.0.0-beta/client-2.0.0-beta.jar。
-
编译打包 Nebula Exchange 2.0
$ git clone https://github.com/vesoft-inc/nebula-spark-utils.git $ cd nebula-spark-utils/nebula-exchange $ mvn clean package -Dmaven.test.skip=true -Dgpg.skip -Dmaven.javadoc.skip=true
编译打包完成后,可以在 nebula-spark-utils/nebula-exchange/target/ 目录下看到 nebula-exchange-2.0.0.jar 文件。
- 使用
关于 Nebula Exchange 2.0 的详细使用说明,请参考 1.0 的使用文档《Nebula Exchange 用户手册》;
关于外部 Hive 数据源的配置,请参考配置文件 server_application.conf 中Hive的配置。