nebula-spark-connector reader是否可以一次配置config读取多条或者所有edge呢

  • 部署方式(单机):
  • 是否为线上版本:Y

请问一下nebula-spark-connector是否可以配置一次ReadNebulaConfig读取多条edge呢


如上所示,是必须要配置多次,然后把df join吗。withLabel设置多个label会报错。求教~

  1. 不允许一次配置多个tag或者多个edge。
  2. 你想读取多tag或者多edge,那就分别读取,在保证数据同构的情况下做union。

好的 多谢解答!

也没法动态自动设置space, tag ,fields …
我space等字段在数据中,需要解析出来才知道使用哪个space,这个需求要怎么做?

你这属于spark-connector上层的应用需求吧, 可以先自己解析出space字段,然后以变量形式传给config啊。

space字段是从kafka消费的数据中得到的,数据在rdd中,已经不在driver端了,处理数据也是在forEachPartition中,还能变量形式传给config吗?
请问下具体是怎么实现呢

难道你不同partition中解析出来的space还会不一样么?
如果都是同一个space,可以从rdd中拿到space,然后在driver端执行Example的代码啊

对 不一样。space是由业务数据决定的,每一条数据所属的space可能会不一样的,需要动态切换space

你如果数据所属的space是动态的,那不建议使用spark-connector了,可以在executor内部自己调用java client, 针对解析出来的space和数据构造两条ngql数据:
use space; insert vertex {tag}(prop1, porp2..) values id:(xxx,xxx...)

1 个赞