使用AWS lambda读取Kinesis并保存到S3

Question

我是AWS的新手。到目前为止，我可以使用aws .net sdk将csv数据发送到kinesis流。现在我必须使用lambda使用S3 Emitter在S3中保存这些数据（这是我在许多网站上找到的最常见的方式）。当我为它创建一个Lambda函数。它要求Node.js或java8代码。 我从这里不明白，需要上传什么代码，如何使用S3 Emitter代码。 我无法使用Kinesis Firehose，因为流式数据将进入EMR进行处理。 请帮帮我。 如果有其他方式请建议。

Answer 1

您需要编写将从kinesis流中获取事件并将其写入S3（甚至更容易用于Kinesis Firehose）的代码。此代码应采用Lambda当前支持的编程语言之一（JavaScript，Java，Python）。 以下是从Kinesis阅读的教程：http://docs.aws.amazon.com/lambda/latest/dg/with-kinesis-example.html

读取事件并将它们批量处理到S3或者更容易将它们写入Firehose以在S3中获得更优化的批次（更大，压缩，加密......）相对容易。