如何使用PySpark 1.6读取实木复合地板文件？

Question

我可以使用以下方式读取常规文件：

textFile = sc.textFile("README.md")

但是如何读取Parquet文件？

Answer 1

parquetFile = sqlContext.read.parquet("people.parquet")

or in your case

parquetFile = sc.read.parquet("people.parquet")

我将在此处阅读文档以获取更多信息：https://spark.apache.org/docs/1.6.0/sql-programming-guide.html#hive-metastore-parquet-table-conversion

Answer 2

data = sqlContext.read.parquet("/tmp/testParquet")
display(data)