自动化Python脚本的最佳方法

Question

我有许多脚本可以将数据从各种数据源移动到BigQuery。这些脚本需要每天运行。我无法在我的机器上运行它，因为在运行脚本时它可能处于脱机状态。

我应该使用什么服务来自动化这个以及在选择时应该寻找什么？在谷歌/谷歌云环境中有这样的东西吗？

一旦我拥有服务器，脚本自动化的过程将如何？ 感谢任何有关文档的建议或链接。

Answer 1

您有两种选择：

1. 启动GCE（或EC2）实例，并使用cron作业启动python脚本。
2. 忘掉cron标签，并使用Apache Airflow（参见下面的链接）。

后者将是我首选的武器。

https://airflow.incubator.apache.org/

http://engineering.pmc.com/2017/03/playing-around-with-apache-airflow-bigquery-62/

https://medium.com/google-cloud/airflow-for-google-cloud-part-1-d7da9a048aa4

Answer 2

Reliable Task Scheduling on Google Compute Engine 您可以使用它并设置脚本的每日执行时间。

Boto允许您编写一些脚本来自动启动AWS EC2实例 Boto

Answer 3

Jenkins是这类事物的有用工具。它适用于CI / CD，但可用于在某些时间或在满足某些条件后自动执行作业。

安装后，您可以通过浏览器访问localhost：8080并设置构建条件。

你可以在GUI中轻松浏览大约一百万个插件，这样你就可以在那里找到一些帮助。