使用Microsoft Azure按需运行“一堆Python脚本”

Question

我正在尝试定义一个架构，其中需要并行和按需运行多个Python脚本。想象一下以下设置：

脚本请求者（Web API） - ＆gt;服务总线队列 - ＆gt;脚本执行 - ＆gt;结果发回给脚本请求者

为此，脚本请求者在队列中放置一条脚本请求消息，以及一个应该将结果发回的API端点。脚本请求消息还包含要运行的脚本的输入。

Service Bus队列将生产者和消费者分开。一组通用的“worker”只是在队列中查找新消息，获取输入消息并使用所述输入调用Python脚本。然后他们将结果回发给API端点。但是我可以使用什么策略来“运行Python脚本”？

Answer 1

一种可能的策略可能是使用Webjobs。 Webjobs可以执行Python脚本并按计划运行。让我们说你每5分钟运行一次Webjob，Python脚本可以汇集队列，进行一些处理并将结果发回给你。

Answer 2

根据我的经验，我认为您可以使用以下两种策略。

1. 为Azure HDInsight开发Python脚本。 Azure HDInsight作为基于Hadoop的平台，具有并行计算功能，您可以尝试参考文档https://azure.microsoft.com/en-us/documentation/articles/hdinsight-hadoop-streaming-python/来了解它。

2. 基于运行Azure VM的dispy或jug等并行计算框架开发Python脚本。

希望它有所帮助。最诚挚的问候。