通过datapipeline将错误消息存储到Redshift

时间:2016-04-28 06:07:18

标签: amazon-web-services amazon-s3 amazon-ec2 amazon-redshift amazon-data-pipeline

我试图通过数据管道在Redshift集群中运行SQL活动。在SQL活动之后,需要将几个日志写入redshift中的表[例如受影响的行数,错误消息(如果有的话)]。

要求: 如果sql Activity成功完成,则所提到的表将写入' error'列为null, 否则,如果sql Activity因任何错误而失败,则需要将该特定错误消息更新为错误消息' Redshift表中的列。

我们能通过管道实现这一目标吗?如果是,我们如何实现这一目标?

谢谢, 拉维。

1 个答案:

答案 0 :(得分:0)

不幸的是,您不能直接使用DataPipeline中的SqlActivity执行此操作。解决方法是编写一个执行所需操作的java程序(或任何可执行文件),并使用ShellCommandActivity通过Datapipeline安排它。