Azure-实时将文件从本地复制到Blob

Question

我正在Azure平台上工作，并使用Azure Data Factory v2执行数据集成（ETL）活动。当将消息文件放入外部SFTP路径时，我需要实时解析.txt格式的消息文件。

管道如下所示：-

源-> SFTP服务器-> Azure Blob-> ADF管道->数据库

当文件从外部SFTP服务器中删除时，管道应从SFTP服务器中提取文件并将其复制到Azure blob。从那里开始其余的处理。

有人可以让我知道如何实时运行ADF作业以查找存放在外部SFTP路径中的新文件吗？在Azure中使用其他工具/技术的任何建议也可以。

Answer 1

您应该看看Azure Logic App，它有一个SFTP connector：

• SFTP trigger: When a file is added or modified

然后将文件复制到Blob存储（使用blob connector）：

• Create and manage blobs in Azure blob storage with Azure Logic Apps

然后您使用ADP connector（在预览中）触发ADP管道

因此，当将新文件上传到FTP时，将触发逻辑应用程序，然后将其复制到blob存储并触发ADP管道运行，而无需任何代码。