- 安装spark、hadoop环境
centOS 7下的安装 Apache Spark 2.4.8（单节点及集群环境）
- 将数据导入hadoop中
Hadoop常用命令
3.直接下载 JAR 文件
按照安装的spark版本下载
- 创建图空间和Schema
DROP SPACE IF EXISTS ownthink;
CREATE SPACE IF NOT EXISTS ownthink(partition_num=50, vid_type=FIXED_STRING(20));
USE ownthink;
CREATE TAG IF NOT EXISTSentity(name string);
CREATE EDGE IF NOT EXISTSrelation(name string);
- 修改配置文件
{
# Spark 相关配置
spark: {
app: {
name: NebulaGraph Exchange 3.4.0
}
driver: {
cores: 1
maxResultSize: 1G
}
executor: {
memory:1G
}
cores: {
max: 16
}
}
# NebulaGraph 相关配置
nebula: {
address:{
# 指定 Graph 服务和所有 Meta 服务的 IP 地址和端口。
# 如果有多台服务器，地址之间用英文逗号（,）分隔。
# 格式："ip1:port","ip2:port","ip3:port"
graph:["127.0.0.1:9669"]
#任意一个 Meta 服务的地址。
#如果您的 NebulaGraph 在虚拟网络中，如k8s，请配置 Leader Meta的地址。
meta:["127.0.0.1:9559"]
}
# 指定拥有 NebulaGraph 写权限的用户名和密码。
user: root
pswd: nebula
# 指定图空间名称。
space: ownthink
connection: {
timeout: 3000
retry: 3
}
execution: {
retry: 3
}
error: {
max: 32
output: /tmp/errors
}
rate: {
limit: 1024
timeout: 1000
}
}
# 处理点
tags: [
# 设置 Tag player 相关信息。
{
# 指定 NebulaGraph 中定义的 Tag 名称。
name: entity
type: {
# 指定数据源，使用 CSV。
source: csv
# 指定如何将点数据导入 NebulaGraph：Client 或 SST。
sink: client
}
# 指定 CSV 文件的路径。
# 如果文件存储在 HDFS 上，用双引号括起路径，以 hdfs://开头，例如"hdfs://ip:port/xx/xx"。
# 如果文件存储在本地，用双引号括起路径，以 file://开头，例如"file:///tmp/xx.csv"。
path: "hdfs://192.168.209.129:9000/data/ownthink/vertex.csv"
# 如果 CSV 文件没有表头，使用 [_c0, _c1, _c2, ..., _cn] 表示其表头，并将列指示为属性值的源。
# 如果 CSV 文件有表头，则使用实际的列名。
fields: [_c1]
# 指定 NebulaGraph 中定义的属性名称。
# fields 与 nebula.fields 的顺序必须一一对应。
nebula.fields: [name]
# 指定一个列作为 VID 的源。
# vertex 的值必须与上述 fields 或者 csv.fields 中的列名保持一致。
# 目前，NebulaGraph 3.4.1仅支持字符串或整数类型的 VID。
vertex: {
field:_c0
# policy:hash
}
# 指定的分隔符。默认值为英文逗号（,）。
separator: ","
# 如果 CSV 文件有表头，请将 header 设置为 true。
# 如果 CSV 文件没有表头，请将 header 设置为 false。默认值为 false。
header: false
# 指定单批次写入 NebulaGraph 的最大点数量。
batch: 256
# 指定 Spark 分片数量。
partition: 32
}
# 如果需要添加更多点，请参考前面的配置进行添加。
]
# 处理边
edges: [
# 设置 Edge type follow 相关信息。
{
# 指定 NebulaGraph 中定义的 Edge type 名称。
name: relation
type: {
# 指定数据源，使用 CSV。
source: csv
# 指定如何将点数据导入 NebulaGraph：Client 或 SST。
sink: client
}
# 指定 CSV 文件的路径。
# 如果文件存储在 HDFS 上，用双引号括起路径，以 hdfs://开头，例如"hdfs://ip:port/xx/xx"。
# 如果文件存储在本地，用双引号括起路径，以 file://开头，例如"file:///tmp/xx.csv"。
path: "hdfs://192.168.209.129:9000/data/ownthink/edge.csv"
# 如果 CSV 文件没有表头，使用 [_c0, _c1, _c2, ..., _cn] 表示其表头，并将列指示为属性值的源。
# 如果 CSV 文件有表头，则使用实际的列名。
fields: [_c2]
# 指定 NebulaGraph 中定义的属性名称。
# fields 与 nebula.fields 的顺序必须一一对应。
nebula.fields: [name]
# 指定一个列作为起始点和目的点的源。
# vertex 的值必须与上述 fields 或者 csv.fields 中的列名保持一致。
# 目前，NebulaGraph 3.4.1仅支持字符串或整数类型的 VID。
source: {
field: _c0
}
target: {
field: _c1
}
# 指定的分隔符。默认值为英文逗号（,）。
separator: ","
# 指定一个列作为 rank 的源（可选）。
#ranking: rank
# 如果 CSV 文件有表头，请将 header 设置为 true。
# 如果 CSV 文件没有表头，请将 header 设置为 false。默认值为 false。
header: false
# 指定单批次写入 NebulaGraph 的最大边数量。
batch: 256
# 指定 Spark 分片数量。
partition: 32
}
# 如果需要添加更多边，请参考前面的配置进行添加。
]
}
各个配置项的详细说明请参见配置说明
- 向 NebulaGraph 导入数据
导入命令：
#/usr/local/softs/spark2.4.8/bin/spark-submit --master “local” --class com.vesoft.nebula.exchange.Exchange /usr/local/softs/nebula-exchange_spark_2.4-3.4.0.jar -c /usr/local/softs/application.conf
关于参数的说明，请参见导入命令参数
首次导入
<spark_install_path>/bin/spark-submit --master “local” --class com.vesoft.nebula.exchange.Exchange <nebula-exchange-2.x.y.jar_path> -c <application.conf_path>
导入 reload 文件
<spark_install_path>/bin/spark-submit --master “local” --class com.vesoft.nebula.exchange.Exchange <nebula-exchange-2.x.y.jar_path> -c <application.conf_path> -r “<reload_file_path>”
- 验证数据
用户可以在 NebulaGraph 客户端（例如 NebulaGraph Studio）中执行查询语句，确认数据是否已导入。例如：
LOOKUP ON player YIELD id(vertex);
用户也可以使用命令 SHOW STATS 查看统计数据。
文中所需数据集可以参考：使用图数据库 Nebula Graph 数据导入快速体验知识图谱 OwnThink
文中转换工具转换，也可以直接在这里获取。