是否使用带有csv文件的s3存储桶作为源并且目标位于s3存储桶中的Kiba ETL作业的示例实现？

Question

我在s3中有csv文件，我想转换一些列并将结果放在另一个s3存储桶中，有时在同一个存储桶中，但文件夹不同。我可以用Kiba实现吗？我可能..在转换之前我需要先将csv数据存储在数据库中吗？

Answer 1

感谢您使用Kiba！今天没有这样的实施样本。我将在未来提供供应商支持的S3组件作为Kiba Pro的一部分。

那就是说，你的想法绝对是可能的（我已经为一些客户做过这一点） - 并且首先无需将CSV数据存储在数据库中。

您需要做的是实施一个Kiba S3 source和destination来为您做到这一点。

我建议您查看AWS Ruby SDK，特别是S3 Examples。

以下链接将特别有用：

• https://docs.aws.amazon.com/sdk-for-ruby/v3/developer-guide/s3-example-get-bucket-items.html列出存储分项
• https://docs.aws.amazon.com/sdk-for-ruby/v3/developer-guide/s3-example-get-bucket-item.html在处理之前在本地下载文件
• https://docs.aws.amazon.com/sdk-for-ruby/v3/developer-guide/s3-example-upload-bucket-item.html将文件上传回S3

希望这有帮助！