如何在使用SQL查询CSV文件时打开标题？

Question

Spark SQL可以直接在CSV文件上查询。请参阅下面的示例。

val df = spark.sql("SELECT * FROM csv.`csv/file/path/in/hdfs`")

但是，我们怎样才能让Spark在CSV文件中有标题行？

Answer 1

您可以使用视图：

spark.sql("""CREATE TEMPORARY VIEW df
             USING csv 
             OPTIONS (header "true", path "csv/file/path/in/hdfs")""")
spark.sql("""SELECT * FROM df""")