有没有办法将批量的Azure流分析数据发送到python ML管道？

Question

我想通过事件中心的流分析来对数据进行一些机器学习任务。但是，我的大部分数据处理管道和预测服务都在python中。有没有办法将时间分块数据发送到python脚本进行处理？

Azure ML工作室功能不适合我的需要，因为它似乎适用于单行数据，而Stream Analytics中可用的聚合功能似乎不适用于此数据。

Answer 1

通过最近推出的Azure功能集成，您可以做到这一点。尝试那条路线。

This link描述了创建azure函数。您必须创建一个Http触发器并选择python作为语言。还有几种语言的模板。

This question还有关于功能的其他详细信息。

Answer 2

根据我的经验，您可以将数据放入Azure Storage。然后在Azure ML中配置Import Data component并将Execute Python Script作为输入数据连接。

或者您可以使用Azure Storage Python SDK直接查询Execute Python Script中的数据。

但是，上述两种方法一次只能处理部分数据，因此只能在experimental stage处使用。

如果您需要继续处理数据，我建议您使用web service组件。

您可以将查询数据和处理结果的逻辑代码放入web service。请参阅此official tutorial以部署web service。

希望它对你有所帮助。