网络抓取时仅提取数据的指定部分

时间:2019-05-28 15:08:13

标签: web-scraping powerbi powerquery m

我正在使用Power Bi从网上抓取数据,然后在表格中显示结果。 我有一个数据表,然后要链接到已抓取的数据。

我试图根据我在数据表中选择一个引用的时间来调用一个函数,以便power bi仅抓取所选的引用,而不是尝试拉回数千行的数据,而这花了很长时间!

我的数据源大约有1000多行数据,我正在使用一个网页来显示所有相关内容。

我花了一些时间寻找网页抓取功能,因此使用下面的代码构建了一个抓取功能

我的表是一个不同的列表,然后添加自定义列以调用我的函数,然后在引用不存在的情况下捕获错误。

let
    Source = Web.Page(Web.Contents("http://websiteaddress?Reference=" & Name)),   
    Data = Source{0}[Data],
    #"Changed Type" = Table.TransformColumnTypes(Data,{{"Column1", type text}, {"Column2", type text}, {"Column3", type datetime}, {"Column4", type text}, {"Column5", type text}, {"Column6", type text}, {"Column7", type text}, {"Column8", type text}, {"Column9", type date}, {"Column10", type text}, {"Column11", type text}})
in
    #"Changed Type"

当我在数据表中选择参考aaa123然后抓取网站并在图表中返回该参考的详细信息时,就会出现这种情况。

我不想每次刷新时都刮擦我的数据表中的所有内容。

0 个答案:

没有答案