如何在SNS以外的其他地方发送AWS数据管道故障消息？

Question

我想收集AWS数据管道操作的失败日志。当数据管道操作（步骤）失败时，AWS提供的标准失败处理是向SNS主题发送通知。我想将这些故障存储在日志存储中。 （理想情况下，在S3中）。

有什么方法可以配置我的数据管道来记录这些失败通知，而不是将通知推送到SNS？我想将数据管道故障日志发送到S3。

根据documentation，似乎SNS是故障通知的唯一受支持的目的地。

我希望有一种方法，因为在AWS中这是一种很常见的模式，能够将日志推送到S3存储桶。

我想知道，我是否能够在为每个数据管道步骤配置的pipelineLogUri S3存储桶中找到故障日志？ （如果我可以过滤这些粒度日志中的致命错误，那对我来说是可以接受的）

Answer 1

我决定为Lambda函数订阅SNS通知，然后从那里将其推送到S3。不太理想（因为这会给我们的系统增加额外的复杂性），但是可以正常工作。