使用exchange并发 spark-submit --master "local[16]" 报错

我spark-env.sh添加了下面的配置，还是报错。

export SPARK_EXECUTOR_INSTANCES=16
export SPARK_EXECUTOR_CORES=2
export SPARK_EXECUTOR_MEMORY=32G
export SPARK_DRIVER_MEMORY=32G

查到这个帖子，修改hdfs-site.xml后重启hdfs解决，现在可以指定local并发不报错了。
http://arganzheng.life/hadoop-filesystem-closed-exception.html

 <property>
    <name>fs.hdfs.impl.disable.cache</name>
    <value>true</value>
  </property>