用structfield数组迭代复杂的数据框

时间:2019-10-23 08:59:11

标签: apache-spark pyspark

我在数据框的其中一列中具有以下模式的数据

<type 'list'>: [StructField(data,StructType(List(StructField(account,StructType(List(StructField(Id,StringType,true),StructField(Name,StringType,true),StructField(books,ArrayType(StructType(List(StructField(bookTile,StringType,true),StructField(bookId,StringType,true),StructField(bookName,StringType,true))),true),true)))))))]

我想插入它们,从其中提取每个值并创建一个新的数据框。 pyspark中是否有任何内置函数支持此功能,或者我应该对其进行迭代?有什么有效的方法吗?

0 个答案:

没有答案