我刚才又跑了两遍,发现如果在submit任务时设置num-executors 100
,就不会卡住不动,日志刷新很快,而设置num-executors 60
则会在运行时卡很久很久。
这次,我将资源设置为如下:
--executor-memory 5G --num-executors 100 --executor-cores 1 --driver-memory 30G
数据集中,边有228152,节点有120648。
算法划分结果采用update方式写入person节点louvain属性中。
11分钟跑完,但是出现了之前的问题,一个也没写进去:
我确定这些节点是在图空间中都存在的,也有louvain属性(int32),图空间的tag只有person一种。
这是之前发生一样问题的帖子:
也是由于update出现这个问题,我才转而采用insert方式将社区划分结果写入tag中,这样就得给每个节点新增一个tag。