错误：org.apache.spark.sql.AnalysisException：无法推断CSV模式

Question

我尝试使用以下基本命令在Scala中读取CSV：

val df = spark.read
  .option("header", "true")
  .option("sep","|")
  .option("inferSchema", "true")
  .csv("path/to/_34File.csv")

我得到：

org.apache.spark.sql.AnalysisException: Unable to infer schema for CSV. It must be specified manually.

有什么解决方案？

Answer 1

解决方案是将文件从“ _34File.csv”重命名为“ 34File.csv”。这是一个特殊的案例，对我有用。