nebula 2.0.0-alpha版sst导入数据问题

我看了一下官方的源码 https://github.com/vesoft-inc/nebula-java/blob/master/tools/exchange/src/main/scala/com/vesoft/nebula/tools/importer/processor/VerticesProcessor.scala。

有一些疑问,
1.这个导入支持我当前的版本吗?
2.我看源码最后生成sst文件,然后上传hdfs,并没有入到rockdb,想了解下是已经以我没理解的方式入库了,还是没有写这个代码?如果要入库需要怎么写?

源码如下,

if (part != currentPart) {
                if (writer != null) {
                  writer.close()
                  val localFile = s"${localPath}/${currentPart}-${taskID}.sst"
                  HDFSUtils.upload(localFile, s"${remotePath}/${currentPart}")
                  Files.delete(Paths.get(localFile))
                }
                currentPart = part
                val tmp = s"${localPath}/${currentPart}-${taskID}.sst"
                writer = new NebulaSSTWriter(tmp)
                writer.prepare()
              }
              writer.write(key, value)

使用 download 和 ingest 命令导入nebula

能具体一些吗?比如我想加到hdfs上传完之后

执行完sst导入工具后,sst文件在你配置文件所设置的remote.path的hdfs路径中。
后续操作的说明可查看 https://www.bookstack.cn/read/NebulaGraph-zh-1.0.0-rc2/3.buistration-data-import-download-and-ingest-sst-file.md#Download%20and%20Ingest

  1. 连接nebula服务,进入nebula console。

  2. nebula > DOWNLOAD HDFS “hdfs://${HADOOP_HOST}:${HADOOP_PORT}/${HADOOP_PATH}”

    备注:download之后数据会存在于$NEBULA_HOME/data/download目录中

  3. nebula> INGEST

1 个赞

我使用docker安装的集群,那是不是还得把hadoop环境打包到镜像里面才能用

nebula 2.0.0-alpha 还不支持通过sst导入

1.0的方式在2.0被屏蔽了吗

不是,这块适配还没做,这功能会提供的。

好的

我们内部想使用2版本 数据导入什么时候支持spark writer导入呢?12月之前 有戏吗

有戏

1 个赞

点赞 加鸡腿

@dingding
2.0的GA版本会支持离线生成的sstfile ingest到nebula集群的功能吗?

会支持的

1 个赞

谢谢啦
@jmq2020

ga的版本没发布这个功能,应该在下个版本发布,主要是这个功能还没进行系统测试。

1 个帖子被拆分到新主题:导入sst到nebula之后 发现中文字段 以及后面的字段错位的情况