使用AWS Data Pipeline将本地数据复制到S3

Question

如何使用AWS Data Pipeline将数据从本地SQL数据导入Amazon S3？ 任何教程的链接将极大地帮助我。

Answer 1

您需要在本地运行任务运行器。该任务运行器可以执行可以将数据从SQL数据库导出到S3的管道。

如果您的数据库是MySQL，它可以直接导出数据。如下面的教程所示。 http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-copydata-mysql.html

如果不是MySQL，那么您需要自己编写导出作业。例如。使用Talend DI创建ETL脚本并将Talend作业包装在Shell活动中。

还有一个本地任务运行器模板 http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-template-localmysqltords.html