在Spark DataFrame中,您可以使用df['personId']
之类的名称来寻址架构中的列值-但这种方式不适用于Glue的DynamicFrame。是否存在类似的方法,无需将DynamicFrame转换为DataFrame,即可按名称直接访问列值?
答案 0 :(得分:1)
您可以使用select_fields
,请参见
https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-crawler-pyspark-transforms-SelectFields.html。
在您的情况下为df.select_fields("personId")
。根据您要执行的操作,可以将其保存为新的动态框架,也可以只查看数据。
new_frame = df.select_fields("personId")
new_frame.show()