使用spark-connector 以代码方式创建tag问题

问答 问题
1
  • nebula 版本：3.4.0
  • 部署方式：分布式
  • 安装方式：RPM
  • spark-connector版本:3.0-SNAPSHOT

问题描述：
使用spark-connector 来创建tag，tag字段为中文字段。 以local模式或者client模式提交spark任务时能够正常创建，以cluster模式提交时，任务运行不报错，但中文字段全部乱码。推测可能是提交流程中的bug

2

相关的导入代码和配置文件贴一下。

3

1
1904×386 127 KB

2
2867×435 145 KB

4

首先这个版本是不对齐的，spark connector 的 snapshot 版本对应的是 nebulagraph 的最新分支 master / nightly。

其次，你的使用方法为啥和文档的是不对齐的。参考文档：https://docs.nebula-graph.com.cn/3.4.0/nebula-spark-connector/#_5

5

snapshot版本是思为发我的，应该是没问题的。 然后你贴的这个连接，是写入和读取的demo。 我这边是创建tag的代码

6
  1. 首先sparkconnector支持ngql 是用来读取边数据的，不是用来执行其他语句的 （在返回结果的解析时只针对边数据进行解析）
  2. client和local 执行语句没问题，cluster中文乱码，说明你提交任务的机器上编码是支持中文的， 但集群中其他机器编码是不支持中文的，可以在提交命令中指定编码，配置参见spark 文档https://spark.apache.org/docs/latest/configuration.html#runtime-environment
1 个赞
7

此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。