读取sqlContext

Question

如上所述https://github.com/databricks/spark-csv， 我也在读csv

from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)

df = sqlContext.read.format('com.databricks.spark.csv').options(header='true', inferschema='true').load('cars.csv')

是否有任何选项只能读取标题或只读取前几行。 基本上我只想检查数据框中是否存在特定列？

Answer 1

如果header选项设置为true，则可以使用：

df.first（）

这样它将返回标题行。