AWS Glue：如何保留DynamicFrame

Question

有没有一种方法可以像在Spark中那样使用dataframe.cache（）或dataframe.persist（）在Glue中保留DynamicFrame？

Answer 1

否，当前无法直接保留DynamicFrame。但是，您可以将其转换为DataFrame并使用df.persist()或df.cache()，然后根据需要将其转换回DynamicFrame：

val df = dynamicFrame.toDF()
val cachedDf = df.persist()
val dynamicFrameCached = DynamicFrame(cachedDf, glueContext)