未能提交火花工作

时间:2018-05-04 11:36:20

标签: apache-spark solr spark-submit

我正在尝试使用spark-solr-3.4.4-shaded.jar运行Spark-solr Twitter example

bin/spark-submit --master local[2]  \  --conf "spark.driver.extraJavaOptions=-Dtwitter4j.oauth.consumerKey=?
-Dtwitter4j.oauth.consumerSecret=? -Dtwitter4j.oauth.accessToken=? -Dtwitter4j.oauth.accessTokenSecret=?" \  --class com.lucidworks.spark.SparkApp \  ./target/spark-solr-3.1.1-shaded.jar \  twitter-to-solr -zkHost localhost:9983 -collection socialdata

但失败了,显示以下信息

INFO ContextHandler: Started o.e.j.s.ServletContextHandler@29182679{/metrics/json,null,AVAILABLE,@Spark}
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.SparkContext.jobProgressListener()Lorg/apache/spark/ui/jobs/JobProgressListener;

我可以确认./target/spark-solr-3.1.1-shaded.jar的路径是否正确。

我怀疑--class com.lucidworks.spark.SparkApp(ClassPath)中有问题,但我不确定。

我在本地模式下运行,并按照示例中的说明更改参数。

版本:

  • Spark 2.1.1
  • Spark-solr 3.1.1
  • Solr 6.6.0

0 个答案:

没有答案