spark-submit --class com.vesoft.nebula.exchange.Exchange
–master yarn
–conf spark.driver.extraClassPath=./
–conf spark.executor.extraClassPath=./
nebula-exchange_spark_2.2-3.0.0.jar
-c /data/hdfs/project/test/ngraph/json_application.conf
贴一下 json_applicaion.conf 的内容？
{
# Spark 相关配置
spark: {
app: {
name: Nebula Exchange 3.0.0
}
driver: {
cores: 1
maxResultSize: 1G
}
executor: {
memory:1G
}
cores: {
max: 16
}
}
# NebulaGraph 相关配置
nebula: {
address:{
# 指定 Graph 服务和所有 Meta 服务的 IP 地址和端口。
# 如果有多台服务器，地址之间用英文逗号（,）分隔。
# 格式："ip1:port","ip2:port","ip3:port"
graph:["ngraph01:9669","ngraph02:9669","ngraph03:9669"]
meta:["ngraph01:9559","ngraph02:9559","ngraph03:9559"]
}
# 指定拥有 NebulaGraph 写权限的用户名和密码。
user: root
pswd: nebula
# 指定图空间名称。
space: basketballplayer
connection: {
timeout: 3000
retry: 3
}
execution: {
retry: 3
}
error: {
max: 32
output: /tmp/errors
}
rate: {
limit: 1024
timeout: 1000
}
}
# 处理点
tags: [
# 设置 Tag player 相关信息。
{
# 指定 NebulaGraph 中定义的 Tag 名称。
name: player
type: {
# 指定数据源，使用 JSON。
source: json
# 指定如何将点数据导入 NebulaGraph：Client 或 SST。
sink: client
}
# 指定 JSON 文件的路径。
# 如果文件存储在 HDFS 上，用双引号括起路径，以 hdfs://开头，例如"hdfs://ip:port/xx/xx"。
# 如果文件存储在本地，用双引号括起路径，以 file://开头，例如"file:///tmp/xx.json"。
path: "http://xydw56:50070/tmp/ngraph/vertex_player.json"
# path: "file:///data/hdfs/project/test/ngraph/vertex_player.json"
# 在 fields 里指定 JSON 文件中 key 名称，其对应的 value 会作为 NebulaGraph 中指定属性的数据源。
# 如果需要指定多个值，用英文逗号（,）隔开。
fields: [age,name]
# 指定 NebulaGraph 中定义的属性名称。
# fields 与 nebula.fields 的顺序必须一一对应。
nebula.fields: [age, name]
# 指定一个列作为 VID 的源。
# vertex 的值必须与 JSON 文件中的字段保持一致。
# 目前，NebulaGraph 3.2.1仅支持字符串或整数类型的 VID。
vertex: {
field:id
}
# 指定单批次写入 NebulaGraph 的最大点数量。
batch: 256
# 指定 Spark 分片数量。
partition: 32
}
# 设置 Tag team 相关信息。
{
# 指定 NebulaGraph 中定义的 Tag 名称。
name: team
type: {
# 指定数据源，使用 JSON。
source: json
# 指定如何将点数据导入 NebulaGraph：Client 或 SST。
sink: client
}
# 指定 JSON 文件的路径。
# 如果文件存储在 HDFS 上，用双引号括起路径，以 hdfs://开头，例如"hdfs://ip:port/xx/xx"。
# 如果文件存储在本地，用双引号括起路径，以 file://开头，例如"file:///tmp/xx.json"。
path: "http://xydw56:50070/tmp/ngraph/vertex_team.json"
# path: "file:///data/hdfs/project/test/ngraph/vertex_team.json"
# 在 fields 里指定 JSON 文件中 key 名称，其对应的 value 会作为 NebulaGraph 中指定属性的数据源。
# 如果需要指定多个值，用英文逗号（,）隔开。
fields: [name]
# 指定 NebulaGraph 中定义的属性名称。
# fields 与 nebula.fields 的顺序必须一一对应。
nebula.fields: [name]
# 指定一个列作为 VID 的源。
# vertex 的值必须与 JSON 文件中的字段保持一致。
# 目前，NebulaGraph 3.2.1仅支持字符串或整数类型的 VID。
vertex: {
field:id
}
# 指定单批次写入 NebulaGraph 的最大点数量。
batch: 256
# 指定 Spark 分片数量。
partition: 32
}
# 如果需要添加更多点，请参考前面的配置进行添加。
]
# 处理边
edges: [
# 设置 Edge type follow 相关信息。
{
# 指定 NebulaGraph 中定义的 Edge type 名称。
name: follow
type: {
# 指定数据源，使用 JSON。
source: json
# 指定如何将点数据导入 NebulaGraph：Client 或 SST。
sink: client
}
# 指定 JSON 文件的路径。
# 如果文件存储在 HDFS 上，用双引号括起路径，以 hdfs://开头，例如"hdfs://ip:port/xx/xx"。
# 如果文件存储在本地，用双引号括起路径，以 file://开头，例如"file:///tmp/xx.json"。
path: "http://xydw56:50070/tmp/ngraph/edge_follow.json"
# path: "file:///data/hdfs/project/test/ngraph/edge_follow.json"
# 在 fields 里指定 JSON 文件中 key 名称，其对应的 value 会作为 NebulaGraph 中指定属性的数据源。
# 如果需要指定多个值，用英文逗号（,）隔开。
fields: [degree]
# 指定 NebulaGraph 中定义的属性名称。
# fields 与 nebula.fields 的顺序必须一一对应。
nebula.fields: [degree]
# 指定一个列作为起始点和目的点的源。
# vertex 的值必须与 JSON 文件中的字段保持一致。
# 目前，NebulaGraph 3.2.1仅支持字符串或整数类型的 VID。
source: {
field: src
}
target: {
field: dst
}
# 指定一个列作为 rank 的源（可选）。
#ranking: rank
# 指定单批次写入 NebulaGraph 的最大边数量。
batch: 256
# 指定 Spark 分片数量。
partition: 32
}
# 设置 Edge type serve 相关信息。
{
# 指定 NebulaGraph 中定义的 Edge type 名称。
name: serve
type: {
# 指定数据源，使用 JSON。
source: json
# 指定如何将点数据导入 NebulaGraph：Client 或 SST。
sink: client
}
# 指定 JSON 文件的路径。
# 如果文件存储在 HDFS 上，用双引号括起路径，以 hdfs://开头，例如"hdfs://ip:port/xx/xx"。
# 如果文件存储在本地，用双引号括起路径，以 file://开头，例如"file:///tmp/xx.json"。
path: "http://xydw56:50070/tmp/ngraph/edge_serve.json"
# path: "file:///data/hdfs/project/test/ngraph/edge_serve.json"
# 在 fields 里指定 JSON 文件中 key 名称，其对应的 value 会作为 NebulaGraph 中指定属性的数据源。
# 如果需要指定多个值，用英文逗号（,）隔开。
fields: [start_year,end_year]
# 指定 NebulaGraph 中定义的属性名称。
# fields 与 nebula.fields 的顺序必须一一对应。
nebula.fields: [start_year, end_year]
# 指定一个列作为起始点和目的点的源。
# vertex 的值必须与 JSON 文件中的字段保持一致。
# 目前，NebulaGraph 3.2.1仅支持字符串或整数类型的 VID。
source: {
field: src
}
target: {
field: dst
}
# 指定一个列作为 rank 的源（可选）。
#ranking: _c5
# 指定单批次写入 NebulaGraph 的最大边数量。
batch: 256
# 指定 Spark 分片数量。
partition: 32
}
]
# 如果需要添加更多边，请参考前面的配置进行添加。
}
这里的 path 不支持 http:// 的scheme，应该是 本地或者 HDFS 上的路径
正如报错里提到的 no filesystem for scheme:http
1 个赞
任务执行成功了，但是貌似json数据没有能导入
此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。