使用firehose将我的运动学流的一部分插入redshift

时间:2019-07-23 20:35:00

标签: amazon-s3 amazon-redshift amazon-kinesis amazon-kinesis-firehose

我有一个包含7个字段的运动学流(我们将其称为A-G),并且该流有两个目标:

  1. 将字段A,B,C发送到ML的Kinesis Analytics
  2. 将字段C,D,E,F,G发送到Redshift进行仓储

我设法将A,B,C转移到Kinesis Analytics,并让firehose努力将流的数据推送到S3,然后复制到Redshift。但是,firehose将所有7个字段上载到S3。

当我指定仅在firehose的配置中复制列C-F时,在复制过程中出现错误:

  

找到额外的列

...即使我确保将集群重组为仅包含那5列!

因此,当我指定所需的5列时,firehose仍将所有7个字段从S3复制到Redshift。我还没有找到一种方法来配置firehose,以将少于所有运动学流的所有列上载到S3。

这些修复中的任何一个都会对我有很大帮助:

  1. 将流水仅将我的流的7个字段中的5个上传到S3
  2. 将firehose的S3存储桶的7个字段中的仅5个复制到Redshift

0 个答案:

没有答案