我看到oozie正在使用
List<String> sparkArgs = new ArrayList<String>();
sparkArgs.add("--master");
sparkArgs.add("yarn-cluster");
sparkArgs.add("--class");
sparkArgs.add("com.sample.spark.HelloSpark");
...
SparkSubmit.main(sparkArgs.toArray(new String[sparkArgs.size()]));
但是当我在群集上运行时,我总是得到
错误:无法加载YARN类。可能尚未使用YARN支持编译此Spark副本。
我认为那是因为我的程序找不到HADOOP_CONF_DIR。但是,如何让SparkSubmit知道Java代码中的设置?