使用胶水从ec2 mysql获取数据到redshift

时间:2019-06-21 03:22:17

标签: amazon-s3 amazon-redshift aws-glue aws-glue-data-catalog

我正在尝试从ec2实例上的mysql数据库中将一个表拉到s3以在redshift中进行查询。我当前的管道是我使用aws胶搜寻器搜寻mysql数据库表,以在数据目录中获取架构。然后,我设置了一个aws etl作业,将数据放入一个s3存储桶中。然后,我再次使用另一个搜寻器对s3存储桶中的数据进行爬网,以将s3存储桶中的数据的架构获取到数据目录中,然后在redshift查询窗口中运行以下脚本以将架构拉入redshift。似乎需要很多步骤。有没有更有效的方法可以做到这一点?例如,有一种方法可以从第一个搜寻器重新使用架构,因此我不必两次搜寻数据。相同的表和列。

脚本:

create external schema schema1
from data catalog database 'database1' 
iam_role 'arn:aws:iam::228276746111:role/sfada'
region 'us-west-2'
CREATE EXTERNAL DATABASE IF NOT EXISTS;

0 个答案:

没有答案