各位大神好,我最近在学习使用nebula- graph,最近遇到个问题卡了好几天了,希望可以得到帮助
- nebula 版本:3.2.1
- spark版本:2.4.0
在尝试运行官方提供的louvain demo时,edge csv大约21w,遇到以下两个问题:- 本机内存32g,会出现
WARN BlockManager: Putting block rdd_18_0 failed due to exception java.lang.NullPointerExecption
WARN BlockManager:Block rdd_18_0 could not be removed as it was not found on disk or in memory 会报java.lang.NullPointerException错误
小数据集运行时正常,并不会出现如上错误,请问是什么原因造成的呢?内存不足的原因吗(个人猜测)? - 由于遇到上面问题,我又尝试将代码打包到集群执行,
任务提交命令:spark- submit —class xxx —master spark:ip:7077 —deploy-mode client jar
在执行到val louvainconfig = Louvain(10, 5, 0.5) 时会遇到java.lang.ClassCastException: connot assign instance of scala.collection.immutable.List$SerializationProxy to field org.spark.rdd.RDD.org$apache$spark$rdd$RDD$$dependencies_ of type scala.collection,Seq in instance of org.apache.spark.rdd.MapPartitionsRDD在网上找了一些帖子均为解决问题,希望大佬们帮忙看看
- 本机内存32g,会出现