Question

我正在使用DSE 4.8。我试图通过使用：

导入twitterutils库

import org.apache.spark.streaming.twitter.TwitterUtils

显示错误：

对象twitter不是包org.apache.spark.streaming。
的成员

请让我知道如何添加包以便我可以流式传输Twitter数据

Answer 1

我认为你错过了添加依赖性spark-streaming-twitter。

<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-streaming-twitter_2.10 -->
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-twitter_2.10</artifactId>
    <version>1.6.1</version>
</dependency>

如果您有互联网连接，您也可以使用--package选项让spark自动下载jar。

spark-shell --packages org.apache.bahir:spark-streaming-twitter_2.11:2.1.0

**根据你的spark（scala）版本更改库的版本

如何从scala导入TwitterUtils库

1 个答案: