Star

是否有支持pyspark的计划

rt

请教下大佬 @darionyaphet和 @nicole

你好,请问你使用pyspark的需求是什么呢,侧重点是算法还是数据处理?

算法+数据处理

你好,目前有nebula的python客户端,你可以利用pyspark读取nebula数据。
python-client: https://github.com/vesoft-inc/nebula-python

:expressionless: 这个结合pyspark不知道怎么用,有什么示例可供参考么

  1. 安装nebula-python,安装过程见 https://github.com/vesoft-inc/nebula-python
  2. 编写pyspark入口代码:
    spark = SparkSession\
            .builder\
            .appName("PythonWordCount")\
            .master("spark://mini1:7077") \
            .getOrCreate()
  1. python读取nebula数据有两种方式:
    3.1 通过python-client的scan接口读取数据,转换成spark的dataframe。示例:https://github.com/vesoft-inc/nebula-python/blob/master/examples/StorageClientExample.py
    3.2 利用nebula-spark中的scala类直接读取nebula数据。
    nebula-spark代码地址:https://github.com/vesoft-inc/nebula-java/tree/master/tools/nebula-spark
    如何在pyspark中调用scala可参考:https://blog.csdn.net/yolohohohoho/article/details/89811399
2赞

多谢大佬
python scan 接口目前还没有调通

给大佬点个赞

1赞

浙ICP备20010487号