如何使用SparkSubmit.scala

时间:2016-07-13 00:32:39

标签: hadoop apache-spark oozie

我看到oozie正在使用

List<String> sparkArgs = new ArrayList<String>();
sparkArgs.add("--master");
sparkArgs.add("yarn-cluster");
sparkArgs.add("--class");
sparkArgs.add("com.sample.spark.HelloSpark");
...
SparkSubmit.main(sparkArgs.toArray(new String[sparkArgs.size()]));

但是当我在群集上运行时,我总是得到

  

错误:无法加载YARN类。可能尚未使用YARN支持编译此Spark副本。

我认为那是因为我的程序找不到HADOOP_CONF_DIR。但是,如何让SparkSubmit知道Java代码中的设置?

0 个答案:

没有答案