我有一个python脚本连接到Redshift,执行一系列SQL命令,并生成一个新的派生表。
但是对于我的生活,我无法找到让它每天自动运行的方法。
我已尝试AWS Data Pipeline,但我的shell脚本无法运行第一个复制语句。 我不能让Lambda或Glue工作,因为我公司的IAM政策是限制性的。 每天只运行一个python脚本,Airflow似乎有点过分了。
有关服务的任何建议吗?
答案 0 :(得分:6)
Cron工作?
00 12 * * * /home/scottie/bin/my_python_script.py
每小时(第0分钟),每天中午运行my_python_script.py
。
答案 1 :(得分:1)
我在Windows上使用计划任务。使用GUI或at command输入它。
答案 2 :(得分:1)
如果您正在使用AWS Glue或有其他原因来安装开发端点,您可以使用Apache Zeppelin根据cron命令按计划运行任何语言的任何代码(如果您有jar文件)。这是我用来运行Redshift夜间维护的笔记本:
答案 3 :(得分:1)
在ec2实例上使用cron作业或设置调度事件来调用你的aws python lambda函数http://docs.aws.amazon.com/lambda/latest/dg/with-scheduled-events.html