我正在尝试使用spark-solr-3.4.4-shaded.jar运行Spark-solr Twitter example,
bin/spark-submit --master local[2] \ --conf "spark.driver.extraJavaOptions=-Dtwitter4j.oauth.consumerKey=?
-Dtwitter4j.oauth.consumerSecret=? -Dtwitter4j.oauth.accessToken=? -Dtwitter4j.oauth.accessTokenSecret=?" \ --class com.lucidworks.spark.SparkApp \ ./target/spark-solr-3.1.1-shaded.jar \ twitter-to-solr -zkHost localhost:9983 -collection socialdata
但失败了,显示以下信息
INFO ContextHandler: Started o.e.j.s.ServletContextHandler@29182679{/metrics/json,null,AVAILABLE,@Spark}
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.SparkContext.jobProgressListener()Lorg/apache/spark/ui/jobs/JobProgressListener;
我可以确认./target/spark-solr-3.1.1-shaded.jar的路径是否正确。
我怀疑--class com.lucidworks.spark.SparkApp(ClassPath)中有问题,但我不确定。
我在本地模式下运行,并按照示例中的说明更改参数。
版本: