Spark Streaming Twitter示例:使用TwitterUtils.createStream时的NoClassDefFoundError

时间:2014-08-27 19:37:20

标签: scala apache-spark spark-streaming

我正在尝试实施http://ampcamp.berkeley.edu/big-data-mini-course/realtime-processing-with-spark-streaming.htmlhttp://www.pwendell.com/2013/09/28/declarative-streams.html(虽然这会使用过时版本的Spark),但我最终还是坚持:

线程“main”中的异常java.lang.NoClassDefFoundError:org / apache / spark / streaming / dstream / NetworkInputDStream

以下是导致问题的一些示例代码:

val ssc = new StreamingContext("local[12]", "Twitter Downloader", Seconds(30))

//causes the error
val tweets = TwitterUtils.createStream(ssc, None)

另外,我正在使用Scala和Eclipse

谢谢! (如果有帮助,我可以打印更多错误或输出)

1 个答案:

答案 0 :(得分:1)

Solved - 使用.9版本的Spark-streaming-twitter(.jar文件)而不是1.02