Star

浅析图数据库 Nebula Graph 数据导入工具——Spark Writer

近年来随着大数据的兴起,分布式计算引擎层出不穷。Hadoop 是 Apache 开源组织的一个分布式计算开源框架,在很多大型网站上都已经得到了应用。Hadoop 的设计核心思想来源于 Google MapReduce 论文,灵感来自于函数式语言中的 map 和 reduce 方法。在函数式语言中,map 表示针对列表中每个元素应用一个方法,reduce 表示针对列表中的元素做迭代计算。通过 MapReduce 算法,可以将数据根据某些特征进行分类规约,处理并得到最终的结果。


这是一个从原来 https://nebula-graph.com.cn/posts/batch-data-importing-to-nebula-graph-via-spark-writer/ 中分离出来的主题

请问楼主,目前的CSV importer 和spark writer 是不是都只能将预备数据组织成单个类型结点或单个类型的边组织为一个csv/json文件?
如果我的csv header是 node_id,node_type,node_value
想要根据node type来直接对应nebula中不同的tag,这样的结构目前有办法直接导入吗?

这个需要您生成数据的时候自己处理。

恩恩,谢谢回复

浙ICP备20010487号