我认为我对this thread中提出的问题提出了类似的问题,但我会尝试更具体......
使用aws定期处理数据的最佳方法是什么。例如,我想每分钟处理一次汇总到S3的报告。最好的方法是通过某些脚本每分钟为现有作业添加一个步骤吗?
答案 0 :(得分:2)
好吧,现在我要编写一个脚本:
一旦我准备好代码,我会更新这个帖子,稍后我会在生产中看到它如何在几周内保存
答案 1 :(得分:1)
我会使用引导操作在主节点上安装cron作业。
答案 2 :(得分:0)
考虑(新)AWS Lambda服务。您上传脚本并设置要监视的S3存储桶/文件夹。每次将新输入添加到文件夹时都会运行代码,并根据需要旋转EC2实例以满足需求。