在apache bahir中找不到Spark 2.0.2 twitter流

Question

我正在尝试使用scala在spark中构建一个twitter流媒体示例。

• Spark Version：2.0.2
• Scala Verision：2.11.8

虽然为火花添加外部罐子我从我的火花安装文件夹中获得了火花流（spark-streaming_2.11-2.0.2.jar）但是当从apache bahir添加twitter流媒体jar时我得到了最新的（spark-streaming- twitter_2.11-2.0.1.jar）。

因此在运行时我在eclipse中得到以下错误

  

在加载类文件＆＃39; TwitterUtils.class＆＃39;时检测到缺少或无效的依赖项。无法在包中访问术语twitter4j，因为它（或其依赖项）缺失。检查构建定义是否存在缺失或冲突的依赖项。 （重新运行-Ylog-classpath以查看有问题的类路径。）如果＆＃39; TwitterUtils.class＆＃39;完整重建可能会有所帮助。是针对不兼容的版本编译的。 TwitterWordCount未知Scala问题

我是否添加了正确的jar或需要更改任何代码？

以下是我的导入

import org.apache.spark.streaming.twitter._
import org.apache.spark.streaming.{StreamingContext,Seconds}

Answer 1

  

无法在包中访问术语twitter4j，因为它（或其依赖项）缺失。

您还需要将twitter4j jar添加到构建路径中。