值得注意的是在spark集群中加载twritter jar文件

时间:2018-03-28 03:49:19

标签: apache-spark spark-streaming

我正在研究基本的spark twitter应用程序。但是我无法在spark集群中加载twitter jar文件。

spark-shell --jars /usr/local/Twitter/spark-streaming-twitter_2.11-2.0.1.jar,\
    /usr/local/Twitter/twitter4j-core-4.0.6.jar,\
    /usr/local/Twitter/twitter4j-stream-4.0.6.jar  

我使用上面的命令在spark env中添加jar文件。但我得到文件未找到异常

  

18/03/28 09:11:39错误SparkContext:无法添加   文件:/usr/local/Twitter/spark-streaming-twitter_2.11-2.0.1.jar到   Spark环境java.io.FileNotFoundException:Jar   找不到/usr/local/Twitter/spark-streaming-twitter_2.11-2.0.1.jar

0 个答案:

没有答案