AWS Glue S3目标-创建20个文件的分区

时间:2018-09-28 10:14:30

标签: amazon-web-services amazon-s3 aws-glue

默认情况下,当我也从dynamo DB源读取两个三个记录并且目标是s3时,即使它在target中创建了20个分区文件,只有两个拥有数据,其他则为空文件。

我们如何控制此文件的创建?

还是限制每个文件中的记录数?

1 个答案:

答案 0 :(得分:2)

您可以通过更改分区数来控制文件数。首先,您需要将DynamicFrame更改为Spark DataFrame,然后更改分区数,最后返回到DynamicFrame:

with_scopes

类似的方法,如果要限制记录数,则可以执行以下操作:

with_subject