标签: amazon-s3 pyspark amazon-dynamodb etl aws-glue
是否可以选择将数据从Amazon DynamoDB增量加载到AWS Glue中的Amazon S3。书签选项已启用,但不起作用。它正在加载完整的数据。书签选项不适用于从Dynamodb加载吗?
答案 0 :(得分:1)
Glue似乎不支持DynamoDB源的工作书签,它仅接受S3源:/ 要增量加载DynamoDB数据,您可以使用DynamoDB流仅处理新数据。
答案 1 :(得分:1)
为表启用发电机流,并使用lambda将这些流保存在s3上。这将为您提供对数据的更多控制