Question

我正试图在Zeppelin中运行Twitter流媒体示例。在我搜索之后，我在Spark解释器中添加了“org.apache.bahir：spark-streaming-twitter_2.11：2.0.0”。所以我可以让第一部分工作，如：

Apache Zeppelin 0.6.1: Run Spark 2.0 Twitter Stream App

现在我试图将下半部分添加为：

case class Tweet(createdAt:Long, text:String, screenName:String)
twt.map(status=>
  Tweet(status.getCreatedAt().getTime()/1000, status.getText(), status.getUser().getScreenName())
).foreachRDD(rdd=>
  rdd.toDF().registerTempTable("tweets")
)

现在我收到了错误：

<console>:56: error: not found: type StreamingContext
       val ssc = new StreamingContext(sc, Seconds(2))
                     ^
<console>:56: error: not found: value Seconds
       val ssc = new StreamingContext(sc, Seconds(2))
                                          ^
<console>:61: error: not found: value Seconds
       val twt = tweets.window(Seconds(60))

其实我添加了案例行，我收到了上述错误。我真的不知道这里发生了什么。

任何人都有任何线索吗？

以下是详细信息 Spark：2.0.0 齐柏林飞艇：0.6.2

非常感谢。

=============================================== ======================

// All codes for your reference:
import org.apache.spark.streaming.twitter
import org.apache.spark.streaming._
import org.apache.spark.storage.StorageLevel
import scala.io.Source
import scala.collection.mutable.HashMap
import java.io.File
import org.apache.log4j.Logger
import org.apache.log4j.Level
import sys.process.stringSeqToProcess
import org.apache.spark.SparkConf

// ********************************* Configures the Oauth Credentials for accessing Twitter ****************************
def configureTwitterCredentials(apiKey: String, apiSecret: String, accessToken: String, accessTokenSecret: String) {...}

// ***************************************** Configure Twitter credentials ********************************************
val apiKey = ...
val apiSecret = ...
val accessToken = ...
val accessTokenSecret = ...
configureTwitterCredentials(apiKey, apiSecret, accessToken, accessTokenSecret)

//  ************************************************* The logic itself *************************************************
val ssc = new StreamingContext(sc, Seconds(2))
val tweets = TwitterUtils.createStream(ssc, None)
val twt = tweets.window(Seconds(60))
twt.print
// above codes work correctly

// If added the following line, it failed with the above error
case class Tweet(createdAt:Long, text:String, screenName:String)

Answer 1

我遇到了同样的问题，我不知道为什么在新的StreamingContext修复它之前将导入语句从顶部移动到右边，但确实如此。

import org.apache.spark.streaming._  //moved here from top
import org.apache.spark.streaming.twitter._  //moved here from top
val ssc = new StreamingContext(sc, Seconds(2))  //existing

Answer 2

我有类似的问题。使用FQCN工作正常，所以我最终将其用作解决方法。

Zeppelin Twitter流媒体示例无效

2 个答案: