PySpark-从字符串生成StructType

时间:2019-07-08 09:11:27

标签: pyspark databricks azure-databricks

有没有一种简单的方法可以根据字符串的structype定义生成模式?

例如,我实际上是这样做的:

from pyspark.sql.types import *
customSchema = StructType([StructField("Date",StringType(),True)]) 

我正在寻找将模式定义存储在表中并像这样动态加载它:

from pyspark.sql.types import *
stringShema = 'StructType([StructField("Date",StringType(),True)])'
customSchema = SomeFunctionToConvertTextToStruct(stringShema)

有任何提示吗? 问候

1 个答案:

答案 0 :(得分:1)

使用评估?

from pyspark.sql.types import *
stringSchema = 'StructType([StructField("Date",StringType(),True)])'
customSchema = eval(stringSchema)

奥利维尔。