在AWS Glue中汇总数据帧的好方法是什么

Question

我正在尝试聚合AWS Glue中的数据帧。我使用了以下pySpark代码来执行聚合：

mydataframe.groupby('id').agg({'value', 'operation'})

有没有更好的方法在AWS Glue中执行聚合？

谢谢！

Answer 1

我使用Dataframe将其转换为pyspark并进行汇总，然后将其转换回Dynamicframe。但是，似乎您需要手动将分区添加到数据框。