当使用带外部包的spark-shell时,我正在处理一个奇怪的问题,允许我们使用MS eventhubs进行连接。
首先,我使用命令
启动Spark shellspark-shell --packages com.microsoft.azure:spark-streaming-eventhubs_2.11:2.1.0 --master local[*]
声明结构化流式传输查询时
val inputStream = sparkSession.readStream.format("eventhubs").options(eventhubParameters).load()
我收到此错误
阶> val inputStream = sparkSession.readStream.format(“eventhubs”)。options(eventhubParameters).load() java.lang.ClassNotFoundException:找不到数据源:eventhubs。请在http://spark.apache.org/third-party-projects.html找到套餐 at org.apache.spark.sql.execution.datasources.DataSource $ .lookupDataSource(DataSource.scala:594) 在org.apache.spark.sql.execution.datasources.DataSource.providingClass $ lzycompute(DataSource.scala:86) 在org.apache.spark.sql.execution.datasources.DataSource.providingClass(DataSource.scala:86) 在org.apache.spark.sql.execution.datasources.DataSource.sourceSchema(DataSource.scala:197) 在org.apache.spark.sql.execution.datasources.DataSource.sourceInfo $ lzycompute(DataSource.scala:87) at org.apache.spark.sql.execution.datasources.DataSource.sourceInfo(DataSource.scala:87) 在org.apache.spark.sql.execution.streaming.StreamingRelation $ .apply(StreamingRelation.scala:30) 在org.apache.spark.sql.streaming.DataStreamReader.load(DataStreamReader.scala:125) ... 50岁 引起:java.lang.ClassNotFoundException:eventhubs.DefaultSource 在scala.reflect.internal.util.AbstractFileClassLoader.findClass(AbstractFileClassLoader.scala:62) at java.lang.ClassLoader.loadClass(ClassLoader.java:424) at java.lang.ClassLoader.loadClass(ClassLoader.java:357) 在org.apache.spark.sql.execution.datasources.DataSource $$ anonfun $ 25 $$ anonfun $ apply $ 13.apply(DataSource.scala:579) 在org.apache.spark.sql.execution.datasources.DataSource $$ anonfun $ 25 $$ anonfun $ apply $ 13.apply(DataSource.scala:579) 在scala.util.Try $ .apply(Try.scala:192) 在org.apache.spark.sql.execution.datasources.DataSource $$ anonfun $ 25.apply(DataSource.scala:579) 在org.apache.spark.sql.execution.datasources.DataSource $$ anonfun $ 25.apply(DataSource.scala:579) 在scala.util.Try.orElse(Try.scala:84) 在org.apache.spark.sql.execution.datasources.DataSource $ .lookupDataSource(DataSource.scala:579) ......还有57个
另一个尝试,使用Scala IDE创建一个scala独立应用程序,引用所有spark库和azure eventhub流jar,一切正常。 使用spark-shell时有什么问题的建议吗?
由于 罗伯特