如何通过名称从Glue DynamicFrame检索字段值

时间:2019-05-02 20:25:26

标签: python amazon-web-services pyspark aws-glue

在Spark DataFrame中,您可以使用df['personId']之类的名称来寻址架构中的列值-但这种方式不适用于Glue的DynamicFrame。是否存在类似的方法,无需将DynamicFrame转换为DataFrame,即可按名称直接访问列值?

1 个答案:

答案 0 :(得分:1)

您可以使用select_fields,请参见 https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-crawler-pyspark-transforms-SelectFields.html

在您的情况下为df.select_fields("personId")。根据您要执行的操作,可以将其保存为新的动态框架,也可以只查看数据。

new_frame = df.select_fields("personId")
new_frame.show()