aws Glue：是否可以仅从数据库中提取特定数据？

Question

我需要使用aws Glue将相当大的数据库表转换为csv。但是，我仅提供过去24小时内的最新表行。有一个列指定行的创建日期。是否可以仅转换这些行，而无需将整个表复制到csv文件中？我在Spark上使用了python脚本。

非常感谢您！

Answer 1

AWS Glue中有一些内置转换用于处理数据。可以从ETL脚本中调用此传输。

请参考以下链接： https://docs.aws.amazon.com/glue/latest/dg/built-in-transforms.html

Answer 2

您没有提到尝试连接的database的类型。无论如何，对于JDBC连接，spark都有query选项，您可以在其中发出普通的SQL query来获取所需的行。