尝试时:
import org.apache.spark.streaming.eventhubs.EventHubsUtils
我收到了错误:
object eventhubs is not a member of package org.apache.spark.streaming
我尝试使用以下命令添加jar文件spark-streaming_2.10-1.5.1.jar:
z.load("/jars/spark-streaming_2.10-1.5.1.jar")
我的jar文件放在hdfs
文件夹下的jar
文件夹中。
答案 0 :(得分:0)
你能检查一下spark-streaming_2.10-1.5.1.jar文件中是否包含org.apache.spark.streaming.eventhubs.EventHubsUtils类。 (您可以将其重命名为zip文件或使用jar -tvf检查相同)。当我从https://mvnrepository.com/artifact/org.apache.spark/spark-streaming_2.10/1.5.1下载文件时 我没看到罐子里的课。
您可以从以下位置下载spark-streaming-eventhubs jar文件
https://github.com/hdinsight/hdinsight-spark-examples/tree/master/sparkstreaming/lib
我可以看到这个jar有必需的类。我也通过spark-shell导入,当我运行import语句时它工作正常,所以它也应该在zeppelin中工作。
答案 1 :(得分:0)
即使所需的类是jar文件,我仍然不会遇到问题。
有没有办法让zeppelin理解外部jar中的类文件?
我在SPARK_HOME / spark-client / conf / spark-defaults.conf中也有spark.files选项。
但我仍面临同样的问题。