将应用程序迁移到AWS Kinesis Firehose和AWS s3多个表

时间:2020-04-13 20:02:18

标签: amazon-web-services amazon-s3 aws-lambda amazon-athena amazon-kinesis-firehose

我需要升级我的应用程序才能承载流数据。我的应用程序具有不同类型的数据,这些数据存储在不同的MySQL tables中。

因此,我想创建一个AWS Kinesis Firehose和AWS Lambda function来接收,转换数据并将其加载到CSV文件中的S3中。

我找到的所有信息都很好地解释了如何实现此功能,但仅将数据存储在一个唯一的CSV中。我假设只有一个唯一的CSV,Athena会将其解释为一张表格。

我没有找到任何信息来使用Kinesis Firehose和AWS Lambda function(将代表Athena中的表)创建和存储多个CSV文件。

是否应该为MySQL数据库中的每个表创建一个新的Kinesis Firehose实例?或存在某种方式将这些数据存储在不同的CSV文件中?

0 个答案:

没有答案