跑louvain划分出现 read timed out 和 writing job aborted

我刚才又跑了两遍,发现如果在submit任务时设置num-executors 100,就不会卡住不动,日志刷新很快,而设置num-executors 60则会在运行时卡很久很久。

这次,我将资源设置为如下:

--executor-memory 5G --num-executors 100 --executor-cores 1 --driver-memory 30G

数据集中,边有228152,节点有120648。
算法划分结果采用update方式写入person节点louvain属性中。

11分钟跑完,但是出现了之前的问题,一个也没写进去:

我确定这些节点是在图空间中都存在的,也有louvain属性(int32),图空间的tag只有person一种。

这是之前发生一样问题的帖子:

也是由于update出现这个问题,我才转而采用insert方式将社区划分结果写入tag中,这样就得给每个节点新增一个tag。 :pensive: