在Azure中连续运行的工作

时间:2019-08-11 06:46:57

标签: python-3.x azure azure-data-factory azure-data-factory-2 azure-databricks

我已经创建了一个简单的Python作业,以监视远程SFTP目录中是否有外部系统在其中放置的任何新文件。任务是基本上实时地读取放入目录的新文件。该作业当前是在Windows虚拟机的“任务计划程序”中计划的,但我想将其移动到Azure中的任何PaaS服务中,以计划此作业连续运行,而不是在批处理模式下运行。有人可以让我知道Azure中是否有任何支持该用例的服务?

1 个答案:

答案 0 :(得分:0)

您可能会想到Azure Logic App and SFTP connector,它支持在SFTP服务器上监视,创建,发送和接收文件。

SFTP通过轮询SFTP文件系统并查找自上次轮询以来已更改的文件来触发工作。更多详细信息,请参阅此link

顺便说一句,SFTP连接器有一个限制,即它只能处理50 MB或更小的文件,并且不支持消息分块。对于较大的文件,您必须使用SFTP-SSH connector