线程“主要” scala.MatchError:Map()(类org.apache.spark.sql.catalyst.util.CaseInsensitiveMap的异常)

时间:2019-05-02 15:08:54

标签: scala apache-spark hadoop apache-spark-sql

我正在尝试将数据从excel工作表加载到配置单元表。它将错误抛出

.Map(treatemptyvaluesasnulls -> true, location -> "input", useheader -> true, inferschema -> true, addcolorcolumns -> false, sheetname ->"INPUT") (of class org.apache.spark.sql.catalyst.util.CaseInsensitiveMap)

使用的代码:

val df = spark.read.format("com.crealytics.spark.excel") 
    .option("location", tname) .option("sheetName", fname) .option("useHeader", "true") 
    .option("treatEmptyValuesAsNulls", "true") .option("inferSchema", "true") 
    .option("addColorColumns", "false") .load() //df.printSchema() //df.show(100) 
df.createOrReplaceTempView(s"""$fname""") 
//val d = hqlContext.sql(s"select * from $fname") 
spark.sql(s"""drop table if exists $tdb.$ttab PURGE""") 

我尝试了不同的依赖条件。

使用的依赖项:

  • spark-excel_2.11:0.10.2
  • com.crealytics
  • spark-excel_2.10 0.8.3

有人可以帮忙吗?

1 个答案:

答案 0 :(得分:1)

解决了问题:

二手--packages com.crealytics:spark-excel_2.11:0.10.2

在运行spark提交时 工作正常