sparkSQL:“作业中未指定输入路径”,但是同一语句在spark-shell中起作用

时间:2018-07-06 11:38:12

标签: scala apache-spark apache-spark-sql spark-submit

使用Scala在客户端模式下运行Spark代码时,

false

给出错误

  

“作业中未指定输入路径”。

但是同一条语句在spark-shell repl中绝对可以正常工作。

任何人都可以建议为什么会出现此错误

1 个答案:

答案 0 :(得分:0)

通过在spark-submit spark.sql.parquet.cacheMetadata=false中设置/删除spark配置参数。默认情况下,此参数设置为true。更改后问题已解决。