使用Azure数据工厂从REST API接收传入数据

Question

是否有一种创建Azure ADF管道的方式来接收传入 POST请求？我有这个网关应用程序（Azure外部），当它从应用程序到达时，它能够通过REST发布数据，并且需要将这些数据提取到Data Lake中。我正在利用来自另一个管道的REST调用来提取数据，但这基本上需要做相反的工作-数据将被推送，并且我需要不断地“监听”这些调用...

这是ADF管道应做的事情吗，或者可能还有其他Azure组件能够做到这一点？

Answer 1

先前的注释是正确的，并且是使其工作的一种方法，但是需要一些编码（对于天蓝色函数）。

还可以使用Azure Logic Apps和Azure数据工厂来满足您的需求。

步骤1：创建一个HTTP触发的逻辑应用程序，该应用程序将由您的网关应用程序调用，并且数据将发布到此REST可调用端点。

步骤2：使用参数创建ADF管道，此参数保存需要推送到数据湖的数据。它可以是原始数据，并且可以在将其推送到数据湖之前作为管道中的一个步骤进行转换。

步骤3：一旦触发逻辑应用程序，您就可以简单地使用Azure数据工厂操作来调用在步骤2中创建的数据工厂管道，并将发布的数据作为管道参数传递给ADF管道。

应该就是这样，您可以启动无代码解决方案。

Answer 2

如果外部应用程序已经通过REST推送，为什么不直接调用Data Lake REST API？这样可以省去中间步骤，并使一切都在您的控制之下。

Answer 3

Azure数据工厂是一个批处理数据移动服务。如果要通过HTTP推送数据，则可以实现一个简单的Azure函数以接受数据并将其写入Azure Data Lake。

请参见Azure Functions HTTP triggers and bindings overview