Nebula nGQL查询数据后如何保存为dataframe进行计算?

  • nebula 版本:3.0.0

nebula空间内有很多数据,希望通过nGQL筛选数据后保存为dataframe进行计算(调用nebula Algorithm或者spark计算),不知道应该如何做转df,还请知道的告知一下谢谢

参考spark connector中的数据处理方式,将ngql query 结果Result中的数据进行解析,构造成DataFrame中的Row

谢谢,那构造dataframe的schema如何获取呢

1 个赞

你通过查询语句查出来的结果里面有每个属性的数据类型的,每个属性是一个ValueWrapper结构,可以通过isLong,isString等方法来判断数据的数据类型,这样根据Nebula中的数据类型将数据转换为SparkSql中的数据类型。

1 个赞

spark ReadNebulaConfig方法可以读取nebula数据返回df,但是好像是全量返回的,请问能通过一些方法筛选返回吗

目前扫描数据不能筛选哈,你可以在df上通过sparksql进行筛选

全量读转df再筛选感觉效率有点低,目前是通过ngql筛选后直接转df的

也可以的,目前扫描数据的接口上有一个filter参数未实现,实现后你这个需求就很轻松可以满足了

1 个赞

加油,快快实现哈哈哈哈

浙ICP备20010487号