调用nebula- algorithm算法接口时遇到了问题

各位大神好,我最近在学习使用nebula- graph,最近遇到个问题卡了好几天了,希望可以得到帮助

  • nebula 版本:3.2.1
  • spark版本:2.4.0
    在尝试运行官方提供的louvain demo时,edge csv大约21w,遇到以下两个问题:
    1. 本机内存32g,会出现
      WARN BlockManager: Putting block rdd_18_0 failed due to exception java.lang.NullPointerExecption
      WARN BlockManager:Block rdd_18_0 could not be removed as it was not found on disk or in memory 会报java.lang.NullPointerException错误
      小数据集运行时正常,并不会出现如上错误,请问是什么原因造成的呢?内存不足的原因吗(个人猜测)?
    2. 由于遇到上面问题,我又尝试将代码打包到集群执行,
      任务提交命令:spark- submit —class xxx —master spark:ip:7077 —deploy-mode client jar
      在执行到val louvainconfig = Louvain(10, 5, 0.5) 时会遇到java.lang.ClassCastException: connot assign instance of scala.collection.immutable.List$SerializationProxy to field org.spark.rdd.RDD.org$apache$spark$rdd$RDD$$dependencies_ of type scala.collection,Seq in instance of org.apache.spark.rdd.MapPartitionsRDD在网上找了一些帖子均为解决问题,希望大佬们帮忙看看:saluting_face::saluting_face::saluting_face::saluting_face:

麻烦多贴一些堆栈信息吧

  1. 问题1中出现的Block rdd_18_0 could not be removed as it was not found on disk or in memory 可以参考该帖子试试调大一下资源配置
    Spark Issue: Block Could Not Be Removed as It Was Not Found on Disk or in Memory
  2. 你试过standalone模式吗,也报一样的错误码
1 个赞

非常感谢您的帮助,经过排查发现是数据集内有空值的问题,麻烦啦~

1 个赞

抱歉回复迟了,如果问题解决了,你可以勾选自己的回复为解决方案哈

此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。