- nebula 版本:3.1.0
- 部署方式:分布式
- 安装方式:源码编译
- 是否上生产环境:Y
- 硬件信息
磁盘 10T的SSD
CPU 64C
内存 256G - 问题的具体描述
spark 2.4
使用spark-submit 提交nebula-algorithm-3.0.0.jar 的任务时,想使用提交到yarn集群计算(数据量大,使用local模式计算太慢),运行参数配置不清晰
#提交到yarn上,怎么引入application.conf配置,我使用的运行指令:
${SPARK_HOME}/bin/spark-submit --master "yarn" --deploy-mode cluster --class com.vesoft.nebula.algorithm.Main /home/admin/graph/nebula-algorithm-3.0.0.jar -p hdfs://bxpajkcluster/user/hive/warehouse/zw/zwapplication.conf
查看报错信息,无法找到conf文件
这个hdfs里已经上传的conf文件,但是使用-p参数是只能本地local的conf文件,有没有其他参数是使用hdfs的文件做为conf文件