情况:-有一个URL,我需要从下拉列表中选择一个输入,从下拉列表中选择另一个输入以转换一些数据,再从另一个输入中选择CSV格式的数据,然后单击Submit按钮,输出为以CSV格式生成,因此我需要通过ADF自动执行此过程。
我做了什么:-我正在将Web活动与复制活动结合使用,以使用POST方法将URL数据加载到Blob中。但是我得到的输出是页面的完整HTTP响应。但是,我还创建了用于映射的参数,但是没有用。仅获取这些参数以选择URL中的数据并仅获取所选值输出的解决方案是什么?
答案 0 :(得分:3)
Data Factory不是最适合Web抓取的工具,它不是技术堆栈中的功能。
当我必须从网站获取数据时,通常要做的是Azure功能活动。您可以使用自己喜欢的语言(python,.net,java,powershell,节点等)创建Azure函数,进行网络抓取并将所需的任何数据存储在blob存储中。然后,使用Azure Function活动从数据工厂调用该函数。
希望这对您有所帮助!