数据导入还有其他方式嘛?

  • nebula 版本:Nebula Graph 2.6.1
  • 部署方式:单机
  • 安装方式:tar.gz
  • 是否为线上版本:Y
  • 硬件信息
    • 8核 32G 物理机

最近正在调研这项技术,看大部分数据都是csv文件导入。但是我们场景是从hive中导入到图数据库中,就采用了代码的方式去测试了一个demo看看速度 本地idea执行的java代码 然后从Nebula-graph-studio看大概 100/s 可以问一下还有什么其他的导入方式吗?(代码太水了 就不贴了)

如果做成csv文件的话 大概上亿条数据做出来会很大 csv文件导入不太方便 或者说 可以使用一些工具什么的来进行导入(看了还没几天 可能很多东西都没有看到 所以麻烦告诉我一些导入的方式啦)

补充一下
插入的数据都是要有索引的 而且 会有重复数据 所以还在考虑 upsert是不是也会更加影响效率

nebula-exchange支持从hive导入图数据库。
https://docs.nebula-graph.com.cn/2.6.1/nebula-exchange/about-exchange/ex-ug-what-is-exchange/

性能参考:https://github.com/vesoft-inc/nebula-exchange/blob/master/bench/exchange-test.md

您好 我刚看了一下 是需要spark提交jar包的方式对吧 假如没有spark环境就没有办法用这个Exchange
因为我们是想不动线上环境 然后将Nebula Graph换到其他的机器上面去使用 可能那个机器上并没有spark的环境

exchange 可以在任何能 连通NebulaGraph服务的机器上执行,不一定在线上环境。

非常感谢您解答 我再问一下 有使用nebula graph客户端代码去用nqql插入的测试和效率吗? 这边需求有点奇怪需要先去图数据库中查一下有没有该值 如果没有就得新增 需要在没有的时候直接新增进去 所以还是需要代码层面 有这类问题测试过效率吗?

没有。

没有数据时新增,有数据时呢,如果有数据时用新数据更新,你可以直接用insert的,因为insert 相同key的数据时 后面数据会覆盖前面数据的。

此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。