未定义Pyspark StructType

Question

我正在尝试为数据库测试构建模式，而StructType显然由于某种原因而无法工作。我跟随啧啧，并没有导入任何额外的模块。

<type 'exceptions.NameError'>, NameError("name 'StructType' is not defined",), <traceback object at 0x2b555f0>)

我是关于spark 1.4.0，而Ubuntu 12是否与问题有关。我该如何解决这个问题？提前谢谢。

Answer 1

您导入StructType了吗？如果不是

from pyspark.sql.types import StructType

应该解决问题。

Answer 2

from pyspark.sql.types import StructType

这将解决问题，但接下来您可能会得到NameError: name 'IntegerType' is not defined或NameError: name 'StringType' is not defined ..

为避免所有这些，只需执行以下操作：

from pyspark.sql.types import *

或者逐一导入您需要的所有类型：

from pyspark.sql.types import StructType, IntegerType, StringType

所有类型：Apache Spark Data Types