spark - 如何导入外部包

时间:2017-05-28 18:40:23

标签: apache-spark spark-streaming

当使用带外部包的spark-shell时,我正在处理一个奇怪的问题,允许我们使用MS eventhubs进行连接。

首先,我使用命令

启动Spark shell
spark-shell --packages com.microsoft.azure:spark-streaming-eventhubs_2.11:2.1.0 --master local[*] 

声明结构化流式传输查询时

val inputStream = sparkSession.readStream.format("eventhubs").options(eventhubParameters).load()

我收到此错误

  

阶> val inputStream = sparkSession.readStream.format(“eventhubs”)。options(eventhubParameters).load()   java.lang.ClassNotFoundException:找不到数据源:eventhubs。请在http://spark.apache.org/third-party-projects.html找到套餐     at org.apache.spark.sql.execution.datasources.DataSource $ .lookupDataSource(DataSource.scala:594)     在org.apache.spark.sql.execution.datasources.DataSource.providingClass $ lzycompute(DataSource.scala:86)     在org.apache.spark.sql.execution.datasources.DataSource.providingClass(DataSource.scala:86)     在org.apache.spark.sql.execution.datasources.DataSource.sourceSchema(DataSource.scala:197)     在org.apache.spark.sql.execution.datasources.DataSource.sourceInfo $ lzycompute(DataSource.scala:87)     at org.apache.spark.sql.execution.datasources.DataSource.sourceInfo(DataSource.scala:87)     在org.apache.spark.sql.execution.streaming.StreamingRelation $ .apply(StreamingRelation.scala:30)     在org.apache.spark.sql.streaming.DataStreamReader.load(DataStreamReader.scala:125)     ... 50岁   引起:java.lang.ClassNotFoundException:eventhubs.DefaultSource     在scala.reflect.internal.util.AbstractFileClassLoader.findClass(AbstractFileClassLoader.scala:62)     at java.lang.ClassLoader.loadClass(ClassLoader.java:424)     at java.lang.ClassLoader.loadClass(ClassLoader.java:357)     在org.apache.spark.sql.execution.datasources.DataSource $$ anonfun $ 25 $$ anonfun $ apply $ 13.apply(DataSource.scala:579)     在org.apache.spark.sql.execution.datasources.DataSource $$ anonfun $ 25 $$ anonfun $ apply $ 13.apply(DataSource.scala:579)     在scala.util.Try $ .apply(Try.scala:192)     在org.apache.spark.sql.execution.datasources.DataSource $$ anonfun $ 25.apply(DataSource.scala:579)     在org.apache.spark.sql.execution.datasources.DataSource $$ anonfun $ 25.apply(DataSource.scala:579)     在scala.util.Try.orElse(Try.scala:84)     在org.apache.spark.sql.execution.datasources.DataSource $ .lookupDataSource(DataSource.scala:579)     ......还有57个

另一个尝试,使用Scala IDE创建一个scala独立应用程序,引用所有spark库和azure eventhub流jar,一切正常。 使用spark-shell时有什么问题的建议吗?

由于 罗伯特

0 个答案:

没有答案