在Spark-submit中加载属性文件时出错

时间:2016-09-16 07:13:22

标签: scala hadoop apache-spark hive

我是Scala / Spark的新手。我正面临着以下问题。请给我一些建议。

我的Property文件包含(prop.conf):

spark.shuffle.memoryFraction    0.5
spark.yarn.executor.memoryOverhead      712
spark.default.parallelism       100
spark.network.timeout   1500000

我正在执行它:

spark-submit --class org.sia.chapter03App.AppTest  --master yarn --deploy-mode cluster --num-executors 40 --executor-cores 1 --executor-memory 3100m --files /home/biadmin/ddls/20160608/hive-site.xml  --properties-file /home/prop.conf  --jars  /usr/iop/4.1.0.0/spark/lib/datanucleus-api-jdo-3.2.6.jar,/usr/iop/4.1.0.0/spark/lib/datanucleus-rdbms-3.2.9.jar,/usr/iop/4.1.0.0/spark/lib/datanucleus-core-3.2.10.jar /home/original-chapter03App-0.0.1-SNAPSHOT.jar

我写得像这样:

- properties-file /home/prop.conf

但执行失败,错误是:

  

用户类抛出异常:   java.lang.reflect.InvocationTargetException

提前致谢。

0 个答案:

没有答案