我是新来的火花。我尝试将array
内的struct
爆炸。 JSON循环有点复杂,如下所示。
{
"id": 1,
"firstfield": "abc",
"secondfield": "zxc",
"firststruct": {
"secondstruct": {
"firstarray": [{
"firstarrayfirstfield": "asd",
"firstarraysecondfield": "dasd",
"secondarray": [{
"score": " 7 "
}]
}]
}
}
}
我正在尝试访问score
字段下的secondarray
字段,以便能够计算少量指标并得出每个id
的平均得分。
答案 0 :(得分:1)
如果您使用的是Glue,则应将DynamicFrame转换为Spark的DataFrame,然后使用explode函数:
from pyspark.sql.functions import col, explode
scoresDf = dynamicFrame.toDF
.withColumn("firstExplode", explode(col("firststruct.secondstruct.firstarray")))
.withColumn("secondExplode", explode(col("firstExplode.secondarray")))
.select("secondExplode.score")
scoresDyf = DynamicFrame.fromDF(scoresDf, glueContext, "scoresDyf")