从外部数据源备份到AWS S3（使用数据流水线）？

Question

我正在尝试将位于外部Web服务器上的一些日志文件移动到Amazon S3存储桶。这应该每7天发生一次而无需手动激活它。此外，我希望它是“故障安全”，因此如果复制操作将在Amazon Cloud中完成，这可能是最好的。我已经阅读了有关AWS Data Pipelining解决方案的一些内容，但我找不到任何关于如何使用外部（这意味着不是由亚马逊托管）数据源的工作，更不用说从网络服务器下载文件然后处理它。 有人有类似问题的经验和任何建议从哪里开始？

谢谢！

Answer 1

我不相信任何现有的组件都能满足您的需求，但您始终可以将脚本作为数据管道的一部分运行。我用这种方式运行一个脚本，从外部FTP抓取文件，然后每小时将它们加载到一个S3桶中。