nebula导入json文件报错

spark-submit --class com.vesoft.nebula.exchange.Exchange
–master yarn
–conf spark.driver.extraClassPath=./
–conf spark.executor.extraClassPath=./
nebula-exchange_spark_2.2-3.0.0.jar
-c /data/hdfs/project/test/ngraph/json_application.conf

贴一下 json_applicaion.conf 的内容?

{
  # Spark 相关配置
  spark: {
    app: {
      name: Nebula Exchange 3.0.0
    }
    driver: {
      cores: 1
      maxResultSize: 1G
    }
    executor: {
        memory:1G
    }

    cores: {
      max: 16
    }
  }

  # NebulaGraph 相关配置
  nebula: {
    address:{
      # 指定 Graph 服务和所有 Meta 服务的 IP 地址和端口。
      # 如果有多台服务器,地址之间用英文逗号(,)分隔。
      # 格式:"ip1:port","ip2:port","ip3:port"
      graph:["ngraph01:9669","ngraph02:9669","ngraph03:9669"]
      meta:["ngraph01:9559","ngraph02:9559","ngraph03:9559"]
    }

    # 指定拥有 NebulaGraph 写权限的用户名和密码。
    user: root
    pswd: nebula

    # 指定图空间名称。
    space: basketballplayer
    connection: {
      timeout: 3000
      retry: 3
    }
    execution: {
      retry: 3
    }
    error: {
      max: 32
      output: /tmp/errors
    }
    rate: {
      limit: 1024
      timeout: 1000
    }
  }

  # 处理点
  tags: [
    # 设置 Tag player 相关信息。
    {
      # 指定 NebulaGraph 中定义的 Tag 名称。
      name: player
      type: {
        # 指定数据源,使用 JSON。
        source: json

        # 指定如何将点数据导入 NebulaGraph:Client 或 SST。
        sink: client
      }

      # 指定 JSON 文件的路径。
      # 如果文件存储在 HDFS 上,用双引号括起路径,以 hdfs://开头,例如"hdfs://ip:port/xx/xx"。
      # 如果文件存储在本地,用双引号括起路径,以 file://开头,例如"file:///tmp/xx.json"。
      path: "http://xydw56:50070/tmp/ngraph/vertex_player.json"
    #   path: "file:///data/hdfs/project/test/ngraph/vertex_player.json"

      # 在 fields 里指定 JSON 文件中 key 名称,其对应的 value 会作为 NebulaGraph 中指定属性的数据源。
      # 如果需要指定多个值,用英文逗号(,)隔开。
      fields: [age,name]

      # 指定 NebulaGraph 中定义的属性名称。
      # fields 与 nebula.fields 的顺序必须一一对应。
      nebula.fields: [age, name]

      # 指定一个列作为 VID 的源。
      # vertex 的值必须与 JSON 文件中的字段保持一致。
      # 目前,NebulaGraph 3.2.1仅支持字符串或整数类型的 VID。
      vertex: {
        field:id
      }

      # 指定单批次写入 NebulaGraph 的最大点数量。
      batch: 256

      # 指定 Spark 分片数量。
      partition: 32
    }

    # 设置 Tag team 相关信息。
    {
      # 指定 NebulaGraph 中定义的 Tag 名称。
      name: team
      type: {
        # 指定数据源,使用 JSON。
        source: json

        # 指定如何将点数据导入 NebulaGraph:Client 或 SST。
        sink: client
      }

      # 指定 JSON 文件的路径。
      # 如果文件存储在 HDFS 上,用双引号括起路径,以 hdfs://开头,例如"hdfs://ip:port/xx/xx"。
      # 如果文件存储在本地,用双引号括起路径,以 file://开头,例如"file:///tmp/xx.json"。
      path: "http://xydw56:50070/tmp/ngraph/vertex_team.json"
    #   path: "file:///data/hdfs/project/test/ngraph/vertex_team.json"

      # 在 fields 里指定 JSON 文件中 key 名称,其对应的 value 会作为 NebulaGraph 中指定属性的数据源。
      # 如果需要指定多个值,用英文逗号(,)隔开。
      fields: [name]

      # 指定 NebulaGraph 中定义的属性名称。
      # fields 与 nebula.fields 的顺序必须一一对应。
      nebula.fields: [name]

      # 指定一个列作为 VID 的源。
      # vertex 的值必须与 JSON 文件中的字段保持一致。
      # 目前,NebulaGraph 3.2.1仅支持字符串或整数类型的 VID。
      vertex: {
        field:id
      }

      # 指定单批次写入 NebulaGraph 的最大点数量。
      batch: 256

      # 指定 Spark 分片数量。
      partition: 32
    }

    # 如果需要添加更多点,请参考前面的配置进行添加。
  ]
  # 处理边
  edges: [
    # 设置 Edge type follow 相关信息。
    {
      # 指定 NebulaGraph 中定义的 Edge type 名称。
      name: follow
      type: {
        # 指定数据源,使用 JSON。
        source: json

        # 指定如何将点数据导入 NebulaGraph:Client 或 SST。
        sink: client
      }

      # 指定 JSON 文件的路径。
      # 如果文件存储在 HDFS 上,用双引号括起路径,以 hdfs://开头,例如"hdfs://ip:port/xx/xx"。
      # 如果文件存储在本地,用双引号括起路径,以 file://开头,例如"file:///tmp/xx.json"。
      path: "http://xydw56:50070/tmp/ngraph/edge_follow.json"
    #   path: "file:///data/hdfs/project/test/ngraph/edge_follow.json"

      # 在 fields 里指定 JSON 文件中 key 名称,其对应的 value 会作为 NebulaGraph 中指定属性的数据源。
      # 如果需要指定多个值,用英文逗号(,)隔开。
      fields: [degree]

      # 指定 NebulaGraph 中定义的属性名称。
      # fields 与 nebula.fields 的顺序必须一一对应。
      nebula.fields: [degree]

      # 指定一个列作为起始点和目的点的源。
      # vertex 的值必须与 JSON 文件中的字段保持一致。
      # 目前,NebulaGraph 3.2.1仅支持字符串或整数类型的 VID。
      source: {
        field: src
      }
      target: {
        field: dst
      }

      # 指定一个列作为 rank 的源(可选)。
      #ranking: rank

      # 指定单批次写入 NebulaGraph 的最大边数量。
      batch: 256

      # 指定 Spark 分片数量。
      partition: 32
    }

    # 设置 Edge type serve 相关信息。
    {
      # 指定 NebulaGraph 中定义的 Edge type 名称。
      name: serve
      type: {
        # 指定数据源,使用 JSON。
        source: json

        # 指定如何将点数据导入 NebulaGraph:Client 或 SST。
        sink: client
      }

      # 指定 JSON 文件的路径。
      # 如果文件存储在 HDFS 上,用双引号括起路径,以 hdfs://开头,例如"hdfs://ip:port/xx/xx"。
      # 如果文件存储在本地,用双引号括起路径,以 file://开头,例如"file:///tmp/xx.json"。
      path: "http://xydw56:50070/tmp/ngraph/edge_serve.json"
    #   path: "file:///data/hdfs/project/test/ngraph/edge_serve.json"

      # 在 fields 里指定 JSON 文件中 key 名称,其对应的 value 会作为 NebulaGraph 中指定属性的数据源。
      # 如果需要指定多个值,用英文逗号(,)隔开。
      fields: [start_year,end_year]

      # 指定 NebulaGraph 中定义的属性名称。
      # fields 与 nebula.fields 的顺序必须一一对应。
      nebula.fields: [start_year, end_year]

      # 指定一个列作为起始点和目的点的源。
      # vertex 的值必须与 JSON 文件中的字段保持一致。
      # 目前,NebulaGraph 3.2.1仅支持字符串或整数类型的 VID。
      source: {
        field: src
      }
      target: {
        field: dst
      }

      # 指定一个列作为 rank 的源(可选)。
      #ranking: _c5

      # 指定单批次写入 NebulaGraph 的最大边数量。
      batch: 256

      # 指定 Spark 分片数量。
      partition: 32
    }

  ]
  # 如果需要添加更多边,请参考前面的配置进行添加。
}

这里的 path 不支持 http:// 的scheme,应该是 本地或者 HDFS 上的路径

正如报错里提到的 no filesystem for scheme:http

1 个赞

任务执行成功了,但是貌似json数据没有能导入

浙ICP备20010487号