Louvain算法出现Exception in thread "main" java.lang.IllegalArgumentException: Can't zip RDDs with unequal numbers of partitions: List(262, 800)

algorithm3.0.0 spark 2.4.4 scala 2.11.12 Java 1.8.0_144

使用Nebula Algorithm中的Louvain算法,同样的数据集报Exception in thread “main” java.lang.IllegalArgumentException: Can’t zip RDDs with unequal numbers of partitions: List(262, 800),大家有遇到吗?

这个用的哪个版本,还有你的 Spark 的版本号是多少

algorithm3.0.0 spark 2.4.4 scala 2.11.12 Java 1.8.0_144

algorithm3.0.0 spark 2.4.4 scala 2.11.12 Java 1.8.0_144

这个我搜了下,应该是 Spark 那边的错误,:thinking: 你看下你的 partition 数量是不是一致的,下面的截图仅供参考。截图来源 https://blog.csdn.net/mchtnwn/article/details/71089380

这个是直接调你们写好的包的,难道需要改nebula algorithm louvain的源码

抱歉,这个可能是个 bug,我这边记录了等研发同学 fix 哈,你可以关注下这个 issue Exception in thread “main” java.lang.IllegalArgumentException: Can’t zip RDDs with unequal numbers of partitions: List · Issue #72 · vesoft-inc/nebula-exchange · GitHub

此话题已在最后回复的 30 天后被自动关闭。不再允许新回复。