PySpark：RegisterTempTable丢失标题

Question

我使用SQLContext读取数据，并希望在其上运行SQL查询。我收到了错误。这是我的代码：

%pyspark

from pyspark.sql import SQLContext
sqlCtx = SQLContext(sc)
data = sqlCtx.read.csv("s3://recs-emr-sandbox/mtcars.csv", header=True, inferSchema=True)
data.registerTempTable("data")
spark.sql("SELECT * from data").show()

我得到了一个结果，但我的标题已经消失，因此基本没用，因为我无法正确编写WHERE子句。

我在哪里错了？感谢

Answer 1

您必须先注册表格：

data = sqlCtx.read.csv(...)
df.registerTempTable("data")
sqlContext.sql(...)