我有来自不同制作人的Kinesis流的数据。需要将数据转换为几个不同的表，具体取决于它们的数据类型。我尝试从Kinesis Streams读取Lambda，将数据转换为不同的表格，然后使用Kinesis Firehose批处理并复制到Redshift。
但是，由于Firehose一次只能传送到一个Redhsift表，我需要运行多个Firehose实例，这些实例的运行时间与我在Redshift架构中的表数相同。我看到每个区域有一个默认上限为20个Firehose实例，我想知道这是否是我想要实现的理想数据管道。
答案 0 :(得分：1)
我设计了与您类似的几乎相似的数据管道。我从kinesis获取数据，在数据达到redshift后转换数据。来自1个流的所有数据都转到redshift中的一个主表。然后，我运行一个cron作业，它将数据转换为不同的表。
如果我做了一个错误的假设，请发表评论，我将重新调整我的答案。