Question

我目前正在尝试使用外部库spark-avro在我们的HDInsight群集上运行Spark Scala作业，但没有成功。有人可以帮我解决这个问题吗？目标是找到necesseray步骤，以便能够读取驻留在HDInsight群集上的Azure blob存储上的avro文件。

当前规格：

Linux上的Spark 2.0（HDI 3.5）clustertype
Scala 2.11.8
火花组装2.0.0-hadoop2.7.0-SNAPSHOT.jar
火花avro_2.11：3.2.0

使用的教程：https://docs.microsoft.com/en-us/azure/hdinsight/hdinsight-apache-spark-intellij-tool-plugin

Spark scala代码：

基于以下示例：https://github.com/databricks/spark-avro

import com.databricks.spark.avro._
import org.apache.spark.sql.SparkSession

object AvroReader {

  def main (arg: Array[String]): Unit = {

    val spark = SparkSession.builder().master("local").getOrCreate()

    val df = spark.read.avro("wasb://container@storageaccount.blob.core.windows.net/directory")
    df.head(5)
  }
}

收到错误：

java.lang.NoClassDefFoundError: com/databricks/spark/avro/package$
    at MediahuisHDInsight.AvroReader$.main(AvroReader.scala:14)
    at MediahuisHDInsight.AvroReader.main(AvroReader.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$2.run(ApplicationMaster.scala:627)
Caused by: java.lang.ClassNotFoundException: com.databricks.spark.avro.package$
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 7 more

Answer 1

默认情况下，default_artifact.jar只包含您的类，而不包含您引用的库中的类。您可以使用“Referenced Jars”输入字段。

另一种方法是将解压缩的库添加到工件中。转到文件 - ＆gt;项目结构。在“可用元素”下，右键单击spark-avro库，然后选择“提取到输出根”。单击OK，然后单击Build - ＆gt;构建工件并重新提交。

如何将databricks avro jar添加到hdinsight

1 个答案: