这个算法的空间复杂度是O(n^3), 你300万边这个资源太小了,会导致执行过程中部分shuffle task 丢失的。
executor-memory 30g -executor-cores 2, 这样每个task可用的内存是15g。 同时driver-memory 可以根据你环境内存适当调大。
这个算法的空间复杂度是O(n^3), 你300万边这个资源太小了,会导致执行过程中部分shuffle task 丢失的。
executor-memory 30g -executor-cores 2, 这样每个task可用的内存是15g。 同时driver-memory 可以根据你环境内存适当调大。