Question

我正在尝试建立与事件中心的连接以检索消息，我能够在Azure HDinsight门户提供的Jupyter笔记本中运行它。尝试在intellij中设置相同设置时，出现以下错误。

错误：作业状态为死错误：诊断：位于sun.reflect.NativeMethodAccessorImpl.invoke0（本地方法）处     sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:62）       在     sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）       在java.lang.reflect.Method.invoke（Method.java:498）在     org.apache.spark.deploy.yarn.ApplicationMaster $$ anon $ 4.run（ApplicationMaster.scala：721）     造成原因：java.lang.ClassNotFoundException：     org.apache.spark.eventhubs.ConnectionStringBuilder $在     java.net.URLClassLoader.findClass（URLClassLoader.java:382）在     java.lang.ClassLoader.loadClass（ClassLoader.java:424）在     java.lang.ClassLoader.loadClass（ClassLoader.java:357）...还有7个

下面提供了代码示例

    import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.eventhubs._
import org.apache.spark.sql.types._
import org.apache.spark.sql.functions._
import org.apache.spark._
object SparkStreaming_Event {
  def main(args: Array[String]) {
    val sparkConf = new SparkConf().setAppName("StreamEvents")
    val ssc = new StreamingContext(sparkConf, Seconds(10))
    val connectionString = ConnectionStringBuilder("Connectionstring").setEventHubName("Name").build
    val ehConf = EventHubsConf(connectionString)
      .setStartingPosition(EventPosition.fromEndOfStream)
      .setMaxRatePerPartition(10000)
    val stream = EventHubsUtils.createDirectStream(ssc, ehConf)
    stream.print()
    ssc.start()
    ssc.awaitTermination()
  }
}

任何想法，我在这里都缺少什么，我可以在外部库下看到这些jar。

enter image description here

Answer 1

我开始回答自己的问题。

尽管我们已在构建工具中提供了依赖项，但我们需要在Azure中上载相应的jar，以使其可用于Hdinsight群集。

1。将罐子上传到blob存储（与hdinsight关联）

2。在SparkJ的字段中，在IntelliJ Idea的hdinsight的运行配置中提供blob路径。

wasb：//clustername@blobaccountname.blob.core.windows.net/foldername/jarfile.jar

希望对您有所帮助。

高清洞察力Spark从事件中心检索消息，获取java.lang.NoClassDefFoundError：org / apache / spark / eventhubs / ConnectionStringBuilder $错误

1 个答案: