我有一个包含7个字段的运动学流(我们将其称为A-G),并且该流有两个目标:
我设法将A,B,C转移到Kinesis Analytics,并让firehose努力将流的数据推送到S3,然后复制到Redshift。但是,firehose将所有7个字段上载到S3。
当我指定仅在firehose的配置中复制列C-F时,在复制过程中出现错误:
找到额外的列
...即使我确保将集群重组为仅包含那5列!
因此,当我指定所需的5列时,firehose仍将所有7个字段从S3复制到Redshift。我还没有找到一种方法来配置firehose,以将少于所有运动学流的所有列上载到S3。
这些修复中的任何一个都会对我有很大帮助: