Nebula-Exchange编译时报错

部署了一天,Spark部署了32Core 126G。
这个是我现在的提交命令,
/home/spark/bin/spark-submit --master "spark://xxx.xxx.x.x:xxxx" --total-executor-cores=6 --executor-cores=1 --executor-memory=1g --driver-memory=1g --class com.vesoft.nebula.exchange.Exchange /home/nebula-exchange/nebula-exchange_spark_2.4-3.4.0.jar -c /home/nebula-exchange/maxcompute_application.conf
现在连启动都启动不起来了 :upside_down_face:
报错是设备上没有空间 :sob:这设置的都挺小为啥啊

你机器有126G内存,executor一共分配了 1g*(total cores/executor-cores) 6G。
不知道你的集群有几台机器。如果只有一台,这里可以把total 调大成30, executor-cores 调大6, executor-memory调大10G。

至于设备上没有空间,你要看下磁盘空间

我尝试了几天,更改了很多配置,不是机器硬件的问题。
每一次运行都会卡在这样一个步骤(not enough space to cache rdd),直到最后spark卡死

我搜寻了一些信息,貌似解决办法是:
“从缓存的方式入手,不要直接使用 rdd.cache () ,而是通过序列化 RDD 数据: rdd.persist (StorageLevel.MEMORY_ONLY_SER)”
想请问下这个是可以在配置文件里更改还是要去代码里更改

你可以去代码里改

请问exchange3.0测试过吗?我们测试2.4和2.2都是成功的,但是3.0报错