ETL - 将数据从oracle db推送到aws s3

Question

我有一个oracle db，它有大约20个表。我想将oracle表中的数据推送到S3存储桶中。我想实时或最坏的近实时。获取数据后，我可能需要进行少量数据转换 - 例如：混淆敏感数据或进行外部服务调用以标记敏感数据。我看到亚马逊aws胶水是一种etl工具，但我不确定它是否适合这个目的。

Answer 1

AWS Data Firehose非常适合这种情况。如果要进行转换，可以引入Lambda。每个记录都会在送到目的地之前送到lambda，您可以引入屏蔽或将任何数据转换到目的地。

数据变换： https://docs.aws.amazon.com/firehose/latest/dev/data-transformation.html

Oracle to AWS Kinesis Data Firehose： Xplenty将您的oracle数据传递给firehose。

https://www.xplenty.com/integrations/oracle/amazon-kinesis-firehose/

希望它有所帮助。

没有Xplenty：

您可以按照文档在ORACLE下创建触发器，以触发lambda传递记录。

https://aws.amazon.com/blogs/big-data/from-sql-to-microservices-integrating-aws-lambda-with-relational-databases/

  

ORACLE - Lambda（处理触发器和转换） - Firehose -   S3