nebula-graph 2.6.1
nebula-exchange 2.6.1
JDK 1.8.0_311
maven 3.8.4
spark 2.4.5
nebula-graph 启动正常,使用nebula-console 可以登录。
导入数据报错: Exception in thread ‘main’ com.facebook.thrift.transport.TTransportException
exchange 中application.conf 配置如下
{
# Spark 相关配置
spark: {
app: {
name: Nebula Exchange 2.6.1
}
driver: {
cores: 1
maxResultSize: 1G
}
executor: {
memory:1G
}
cores {
max: 16
}
}
# Nebula Graph 相关配置
nebula: {
address:{
# 指定 Graph 服务和所有 Meta 服务的 IP 地址和端口。
# 如果有多台服务器,地址之间用英文逗号(,)分隔。
# 格式:"ip1:port","ip2:port","ip3:port"
graph:["10.10.69.5:9669", "10.10.69.4:9669"]
meta:["10.10.69.5:9559", "10.10.69.4:9559"]
}
# 指定拥有 Nebula Graph 写权限的用户名和密码。
user: root
pswd: nebula
# 指定图空间名称。
space: graph
connection {
timeout: 3000
retry: 3
}
execution {
retry: 3
}
error: {
max: 32
output: /tmp/errors
}
rate: {
limit: 1024
timeout: 1000
}
}
# 处理点
tags: [
# 设置 Tag player 相关信息。
{
# 指定 Nebula Graph 中定义的 Tag 名称。
name: entity
type: {
# 指定数据源,使用 CSV。
source: csv
# 指定如何将点数据导入 Nebula Graph:Client 或 SST。
sink: client
}
# 指定 CSV 文件的路径。
# 如果文件存储在 HDFS 上,用双引号括起路径,以 hdfs://开头,例如"hdfs://ip:port/xx/xx"。
# 如果文件存储在本地,用双引号括起路径,以 file://开头,例如"file:///tmp/xx.csv"。
path: "/entity.csv"
# 如果 CSV 文件没有表头,使用 [_c0, _c1, _c2, ..., _cn] 表示其表头,并将列指示为属性值的源。
# 如果 CSV 文件有表头,则使用实际的列名。
fields: [_c1, _c2]
# 指定 Nebula Graph 中定义的属性名称。
# fields 与 nebula.fields 的顺序必须一一对应。
nebula.fields: [name, type]
# 指定一个列作为 VID 的源。
# vertex 的值必须与上述 fields 或者 csv.fields 中的列名保持一致。
# 目前,Nebula Graph 2.6.1仅支持字符串或整数类型的 VID。
vertex: {
field:_c0
# policy:hash
}
# 指定的分隔符。默认值为英文逗号(,)。
separator: ","
# 如果 CSV 文件有表头,请将 header 设置为 true。
# 如果 CSV 文件没有表头,请将 header 设置为 false。默认值为 false。
header: false
# 指定单批次写入 Nebula Graph 的最大点数量。
batch: 256
# 指定 Spark 分片数量。
partition: 32
}
]
# 处理边
edges: [
# 设置 Edge type follow 相关信息。
{
# 指定 Nebula Graph 中定义的 Edge type 名称。
name: relationship
type: {
# 指定数据源,使用 CSV。
source: csv
# 指定如何将点数据导入 Nebula Graph:Client 或 SST。
sink: client
}
# 指定 CSV 文件的路径。
# 如果文件存储在 HDFS 上,用双引号括起路径,以 hdfs://开头,例如"hdfs://ip:port/xx/xx"。
# 如果文件存储在本地,用双引号括起路径,以 file://开头,例如"file:///tmp/xx.csv"。
path: "/relationship.csv"
# 如果 CSV 文件没有表头,使用 [_c0, _c1, _c2, ..., _cn] 表示其表头,并将列指示为属性值的源。
# 如果 CSV 文件有表头,则使用实际的列名。
fields: [_c2, _c3, _c4]
# 指定 Nebula Graph 中定义的属性名称。
# fields 与 nebula.fields 的顺序必须一一对应。
nebula.fields: [type, start_time, end_time]
# 指定一个列作为起始点和目的点的源。
# vertex 的值必须与上述 fields 或者 csv.fields 中的列名保持一致。
# 目前,Nebula Graph 2.6.1仅支持字符串或整数类型的 VID。
source: {
field: _c0
}
target: {
field: _c1
}
# 指定的分隔符。默认值为英文逗号(,)。
separator: ","
# 指定一个列作为 rank 的源(可选)。
ranking: _c5
# 如果 CSV 文件有表头,请将 header 设置为 true。
# 如果 CSV 文件没有表头,请将 header 设置为 false。默认值为 false。
header: false
# 指定单批次写入 Nebula Graph 的最大边数量。
batch: 256
# 指定 Spark 分片数量。
partition: 32
}
]
# 如果需要添加更多边,请参考前面的配置进行添加。
}
求大佬们解惑