最佳的运行Python数据处理项目的Azure无服务器服务

时间:2020-10-14 20:35:56

标签: azure azure-web-app-service azure-functions etl azure-data-factory

我对Azure很陌生,并且在所有可用服务中迷失了一点。

我想做什么: 我想在Azure上运行一个无服务器的Python项目,该项目从数据库中获取数据,对其进行处理,进行一些分析并将其再次写入数据库。完成后,它应该再次停止服务器。这可以由上载到存储位置的某些数据触发,或者必须定期运行。最理想的是,我希望能够通过CD(GitHub动作)来构建它。

我找到了什么 通读文档和其他一些资源,我认为这些服务可以降序使用,但我不确定100%。

  1. 天蓝色函数
  2. Azure容器实例
  3. Azure Web应用程序

我也找到了this,但似乎已经过时了。

问题: 哪种Azure服务最适合我的用例。

1 个答案:

答案 0 :(得分:1)

您要完成的任务有一个名称- ETL(提取,转换,加载)。当您需要从数据源(在您的情况下为数据库)中获取数据,对其进行操作并将其卸载到某个目标位置(在您的情况下为数据库)时,这是一种通用模式。

您列出了一些有效的选项。在您的列表中, Azure Function 将是一个真正的无服务器选项,因为在闲置时不会向您收费。其他选项也可以完成任务,但是如果您的代码不执行任何操作,您还将花费数小时的时间。

还有一种只适合您需要的服务: Azure Data Factory 。您可以使用UI设计数据流,并将Python函数作为步骤包括在内。总体结果将是一条数据管道(例如CD代表数据)。当然是 serverless 。您只需要为管道执行时间付费。