默认情况下,当我也从dynamo DB源读取两个三个记录并且目标是s3时,即使它在target中创建了20个分区文件,只有两个拥有数据,其他则为空文件。
我们如何控制此文件的创建?
还是限制每个文件中的记录数?
答案 0 :(得分:2)
您可以通过更改分区数来控制文件数。首先,您需要将DynamicFrame更改为Spark DataFrame,然后更改分区数,最后返回到DynamicFrame:
with_scopes
类似的方法,如果要限制记录数,则可以执行以下操作:
with_subject