我是Scala / Spark的新手。我正面临着以下问题。请给我一些建议。
我的Property文件包含(prop.conf):
spark.shuffle.memoryFraction 0.5
spark.yarn.executor.memoryOverhead 712
spark.default.parallelism 100
spark.network.timeout 1500000
我正在执行它:
spark-submit --class org.sia.chapter03App.AppTest --master yarn --deploy-mode cluster --num-executors 40 --executor-cores 1 --executor-memory 3100m --files /home/biadmin/ddls/20160608/hive-site.xml --properties-file /home/prop.conf --jars /usr/iop/4.1.0.0/spark/lib/datanucleus-api-jdo-3.2.6.jar,/usr/iop/4.1.0.0/spark/lib/datanucleus-rdbms-3.2.9.jar,/usr/iop/4.1.0.0/spark/lib/datanucleus-core-3.2.10.jar /home/original-chapter03App-0.0.1-SNAPSHOT.jar
我写得像这样:
- properties-file /home/prop.conf
但执行失败,错误是:
用户类抛出异常: java.lang.reflect.InvocationTargetException
提前致谢。