Question

PySpark存在这个奇怪的问题。在处理过程中，似乎正在尝试将前一个字段的架构应用于下一个字段。

我可以想到的最简单的测试用例：

%pyspark
from pyspark.sql.types import (
    DateType,
    StructType,
    StructField,
    StringType,
)

from datetime import date
from pyspark.sql import Row


schema = StructType(
    [
        StructField("date", DateType(), True),
        StructField("country", StringType(), True),
    ]
)

test = spark.createDataFrame(
    [
        Row(
            date=date(2019, 1, 1),
            country="RU",
        ),
    ],
    schema
)

Stacktrace：

Fail to execute line 26:     schema
Traceback (most recent call last):
  File "/tmp/zeppelin_pyspark-8579306903394369208.py", line 380, in <module>
    exec(code, _zcUserQueryNameSpace)
  File "<stdin>", line 26, in <module>
  File "/usr/lib/spark/python/lib/pyspark.zip/pyspark/sql/session.py", line 691, in createDataFrame
    rdd, schema = self._createFromLocal(map(prepare, data), schema)
  File "/usr/lib/spark/python/lib/pyspark.zip/pyspark/sql/session.py", line 423, in _createFromLocal
    data = [schema.toInternal(row) for row in data]
  File "/usr/lib/spark/python/lib/pyspark.zip/pyspark/sql/types.py", line 601, in toInternal
    for f, v, c in zip(self.fields, obj, self._needConversion))
  File "/usr/lib/spark/python/lib/pyspark.zip/pyspark/sql/types.py", line 601, in <genexpr>
    for f, v, c in zip(self.fields, obj, self._needConversion))
  File "/usr/lib/spark/python/lib/pyspark.zip/pyspark/sql/types.py", line 439, in toInternal
    return self.dataType.toInternal(obj)
  File "/usr/lib/spark/python/lib/pyspark.zip/pyspark/sql/types.py", line 175, in toInternal
    return d.toordinal() - self.EPOCH_ORDINAL
AttributeError: 'str' object has no attribute 'toordinal'

从本地而不是在Zepplin中运行的奖励信息：

self = DateType, d = 'RU'

    def toInternal(self, d):
        if d is not None:
>           return d.toordinal() - self.EPOCH_ORDINAL
E           AttributeError: 'str' object has no attribute 'toordinal'

例如，它正在尝试将DateType应用于country。如果我摆脱了date，那很好。如果我摆脱了country，那很好。两者在一起，是不行的。

有什么想法吗？我缺少明显的东西吗？

Answer 1

如果你要使用的Row S，你不需要指定模式以及列表。这是因为Row已经知道架构。

由于pyspark.sql.Row对象不维护您为字段指定的顺序，所以出现了问题。

print(Row(date=date(2019, 1, 1), country="RU"))
#Row(country='RU', date=datetime.date(2019, 1, 1))

来自docs：

行可被用于通过使用命名的参数创建一个行对象，字段将通过名称进行排序。

如您所见，country字段放在第一位。当火花尝试与创建数据帧指定schema，它期望第一项是一个DateType。

要解决这个问题的一种方法是把字段中的schema按字母顺序排列：

schema = StructType(
    [
        StructField("country", StringType(), True),
        StructField("date", DateType(), True)
    ]
)

test = spark.createDataFrame(
    [
        Row(date=date(2019, 1, 1), country="RU")
    ],
    schema
)
test.show()
#+-------+----------+
#|country|      date|
#+-------+----------+
#|     RU|2019-01-01|
#+-------+----------+

或者在这种情况下，就没有必要，即使在通过schema到createDataFrame。将从Row s中推断出来：

test = spark.createDataFrame(
    [
        Row(date=date(2019, 1, 1), country="RU")
    ]
)

如果要重新排列列，请使用select：

test = test.select("date", "country")
test.show()
#+----------+-------+
#|      date|country|
#+----------+-------+
#|2019-01-01|     RU|
#+----------+-------+

PySpark尝试将上一个字段的架构应用于下一个字段

1 个答案:

PySpark尝试将上一个字段的架构应​​用于下一个字段

1 个答案:

PySpark尝试将上一个字段的架构应用于下一个字段