我也希望将数据从S3加载到Redshift。进入S3的数据每秒约5MB {近似大小}。
我需要自动将数据从S3加载到Redshift。到S3的数据正在从kafka-stream消费者应用程序中转储。
文件夹S3数据采用文件夹结构。文件夹示例：bucketName / abc-event / 2020/9/15/10
此文件夹中的文件：
abc-event-2020-9-15-10-00-01-abxwdhf。 5MB
abc-event-2020-9-15-10-00-02-aasdljc。 5MB
abc-event-2020-9-15-10-00-03-thntsfv。 5MB
S3中的文件具有用下一行分隔的json对象。
我正在尝试AWS数据管道。 我需要从S3输入JSON对象。 但是，似乎AWS DataPipeline仅采用CSV和TSC格式作为来自S3节点的输入??
我们能否通过从S3文件获取JSON对象的输入并将其加载到redshift来构建AWS DATA-PIPELINE。