如何在Zeppelin中添加eventhub jar或库文件?

时间:2016-08-24 21:02:54

标签: azure

尝试时:

import org.apache.spark.streaming.eventhubs.EventHubsUtils

我收到了错误:

object eventhubs is not a member of package org.apache.spark.streaming

我尝试使用以下命令添加jar文件spark-streaming_2.10-1.5.1.jar:

z.load("/jars/spark-streaming_2.10-1.5.1.jar")

我的jar文件放在hdfs文件夹下的jar文件夹中。

2 个答案:

答案 0 :(得分:0)

你能检查一下spark-streaming_2.10-1.5.1.jar文件中是否包含org.apache.spark.streaming.eventhubs.EventHubsUtils类。 (您可以将其重命名为zip文件或使用jar -tvf检查相同)。当我从https://mvnrepository.com/artifact/org.apache.spark/spark-streaming_2.10/1.5.1下载文件时 我没看到罐子里的课。

您可以从以下位置下载spark-streaming-eventhubs jar文件

https://github.com/hdinsight/hdinsight-spark-examples/tree/master/sparkstreaming/lib

我可以看到这个jar有必需的类。我也通过spark-shell导入,当我运行import语句时它工作正常,所以它也应该在zeppelin中工作。

答案 1 :(得分:0)

即使所需的类是jar文件,我仍然不会遇到问题。

有没有办法让zeppelin理解外部jar中的类文件?

我在SPARK_HOME / spark-client / conf / spark-defaults.conf中也有spark.files选项。

但我仍面临同样的问题。