pyspark数据框中的结构列为NONE

时间:2018-11-20 13:36:30

标签: python apache-spark hive pyspark

我在蜂巢有一张镶木地板。我进行查询:

Button

其架构如下:

Button

现在,我尝试查看数据:

data = spark.sql("""
            SELECT *
            FROM network.flows
            """)

每行的数据列为None,但是,如果我直接在蜂巢中进行查询,则不是None。还有一点可能会有所帮助:如果我进行这样的查询并尝试访问数据:

root
 |-- msgid: string (nullable = true)
 |-- gatewaytimestamp: integer (nullable = true)
 |-- data: struct (nullable = true)
 |    |-- timestamp: integer (nullable = true)
 |    |-- value: double (nullable = true)
 |    |-- direction: boolean (nullable = true)
 |-- deviceid: string (nullable = true)

我收到一条错误消息,其开始如下:

>>> data.take(1)
[Row(msgid=u'abc', gatewaytimestamp=1243, data=None, deviceid=u'as12']

可能是什么问题?

0 个答案:

没有答案