标签: scala apache-spark apache-spark-sql spark-submit
使用Scala在客户端模式下运行Spark代码时,
false
给出错误
“作业中未指定输入路径”。
但是同一条语句在spark-shell repl中绝对可以正常工作。
任何人都可以建议为什么会出现此错误
答案 0 :(得分:0)
通过在spark-submit spark.sql.parquet.cacheMetadata=false中设置/删除spark配置参数。默认情况下,此参数设置为true。更改后问题已解决。
spark.sql.parquet.cacheMetadata=false