Azure-实时处理消息文件

时间:2018-10-21 14:23:19

标签: python-3.x azure azure-eventhub azure-data-factory-2

我正在Azure平台上工作,并使用Python 3.x通过Azure Data Factory v2进行数据集成(ETL)活动。我需要实时解析.txt格式的消息文件,并将它们从Blob存储下载到Windows虚拟机下的路径D:/ MessageFiles /下。

我写了一个Python脚本来解析消息文件,因为它是一个固定宽度的文件,并且它解析目录中的所有文件并生成输出。文件成功解析后,将被移至存档目录。每当我需要时,此脚本在临时模式下的本地磁盘上都能很好地运行。

现在,我想使此脚本在Azure中连续运行,以便它一直在目录D:/ MessageFiles /中查找传入的消息文件,并在看到新文件时执行处理。路径。

有人可以让我知道该怎么做吗?我应该使用任何流分析应用程序来实现这一目标吗?

注意:我不想在Python脚本中使用Timer选项。相反,我正在Azure中寻找一个仅将Python逻辑用于文件解析的选项。

0 个答案:

没有答案