将AWS Kinesis Firehose中的protos / json转换为Parquet

时间:2018-04-05 20:19:01

标签: amazon-web-services aws-lambda protocol-buffers parquet amazon-kinesis-firehose

我有一个长时间运行的过程,每分钟为不同的实体(大约10k)生成控制信号。我想将这些控制信号以及各种输入(参考点,观测值)输出到镶木地板中的S3,以便我们可以以特别的方式对生成的控制信号进行一些分析。长时间运行的过程每分钟输出控制信号和各种输入作为原型(或JSON,原型到JSON非常简单)。我正在考虑将长时间运行的流程的输出流式传输到Kinesis Firehose并使用Lambda将proto / JSON转换为镶木地板。有人可以为lambda提供一些指针,将proto / JSON转换为镶木地板文件吗?

0 个答案:

没有答案