构造函数ClientArguments(String [],SparkConf)未定义

时间:2016-08-25 08:59:01

标签: hadoop apache-spark yarn

我正在通过Java代码尝试spark-submit。我指的是以下例子。

https://github.com/mahmoudparsian/data-algorithms-book/blob/master/misc/how-to-submit-spark-job-to-yarn-from-java-code.md

但我得到了

The constructor ClientArguments(String[], SparkConf) is undefined

我的火花纱线版本为spark-yarn_2.11-2.0.0

我看到了这个话题:
 spark-submit through java code

但它对我不起作用。 有什么帮助吗?

1 个答案:

答案 0 :(得分:0)

构造函数参数在1.x和2.0之间已更改。在1.x中它看起来像:

ClientArguments(args: Array[String], sparkConf: SparkConf)

在2.0中:

ClientArguments(args: Array[String])

请参阅:https://github.com/apache/spark/blob/branch-2.0/yarn/src/main/scala/org/apache/spark/deploy/yarn/ClientArguments.scala