Question

我在使用spark-submit（2.4.0）提交的spark应用程序中遇到此异常

用户类引发异常：org.apache.spark.sql.AnalysisException：为实木复合地板找到了多个源（org.apache.spark.sql.execution.datasources.parquet.ParquetFileFormat，org.apache.spark.sql.execution。 datasources.parquet.DefaultSource），请指定完全合格的类名。

我的申请是：

val sparkSession = SparkSession.builder()
      .appName(APP_NAME)
      .config("spark.sql.warehouse.dir", warehouseLocation)
      .enableHiveSupport()
      .getOrCreate()
sparkSession.sql(query)

我无法弄清楚这个重复的实木复合地板的来源是什么

这是我的火花提交：

spark-submit-2.4.0 --master yarn-cluster \ --files =“ / etc / hive / hive-site.xml” \ --driver-class-path =“ /etc/hadoop/://usr/lib/spark-packages/spark2.4.0/jars/:/usr/lib/spark-packages/spark2.4.0/lib/spark -assembly.jar：/ usr / lib / hive / lib / “

有什么建议吗？

Answer 1

我使用的spark-submit（2.4）版本和默认的SPARK_HOME指向旧版本时发生了混淆，以防万一其他人遇到相同的问题。

Spark 2.4应用程序引发镶木地板错误

1 个答案: