我想使用AWS数据管道运行SQL查询。我已经在support page.
上阅读了SQL活动信息我收到错误消息:
对象:DefaultSqlActivity1警告:角色无效: 'DataPipelineDefaultRole'。请确认提供的AWS IAM角色 建议的权限。
即使我已经给我的DataPipelineDefaultRole和DataPipelineDefaultResourceRole完全访问了S3,EC2,Redshift,DataPipeline并完成了本文中指定的所有内容:http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-iam-roles.html
我只想按小时在亚马逊红移上运行一个SQL脚本。我一直在努力解决任何问题。我试图创造一个角色,拥有所有的特权,但即使这样也没有用,因为它被困在“等待跑者”。
任何建议都非常感谢。 .sql文件存储在s3上,我使用sqlactivity下的脚本uri字段来运行它。我的管道目前看起来像这样:http://imgur.com/vJorcc8
任何帮助都非常感谢!
答案 0 :(得分:1)
您可以在由DataPipeline启动/管理的Ec2资源上运行Sql查询('RunsOn'指向Ec2Resource)或在您管理的资源中运行它('WorkerGroup'指向使用的名字对象,使用当您在资源上启动TaskRunner时。)
这是运行SQL查询的示例管道: https://github.com/awslabs/data-pipeline-samples/blob/master/samples/SQLActivityWithTimeout/pipeline.json