Question

从spark 1.6.2迁移到spark 2.0.0期间，包org.apache.spark.streaming.twitter已被删除，并且Twitter流不再可用以及依赖

<dependency>
  <groupId>org.apache.spark</groupId>
  <artifactId>spark-streaming-twitter_2.11</artifactId>
  <version>2.0.0</version>
</dependency>

任何人都可以建议如何在新火花中推广推特流吗？

Answer 1

在Spark 2.0中删除了Twitter（以及其他一些）驱动程序支持。

您可以在Release Notes的删除部分中看到它：

减除

Spark 2.0中删除了以下功能：


频率较低的流媒体连接器，包括Twitter，Akka，   MQTT，ZeroMQ

它们已被提取为Bahir Project下的单独包。 Twitter扩展程序streaming-twitter可以通过以下方式找到：

SBT：

boolean foo() {
    try {
        Bar x;
        x.doSomething();
    } catch (Exception e) {
        return false;
    }
    return true;
}

的Maven：

libraryDependencies += "org.apache.bahir" %% "spark-streaming-twitter" % "2.0.0"

Mailing List

中的更多信息（感谢@IvanShulak）

编辑：

对于Spark 2.0.1，请使用：

<dependency>
  <groupId>org.apache.bahir</groupId>
  <artifactId>spark-streaming-twitter_2.11</artifactId>
  <version>2.0.0-preview</version>
</dependency>

Spark 2.0.0 twitter流媒体驱动程序不再可用

1 个答案:

减除

Spark 2.0中删除了以下功能：

编辑：