如何在Excel Power Query中设置分页?

时间:2019-11-22 18:06:15

标签: excel powerbi powerquery m

我正在使用JSON将Web上的财务数据导入excel,但是由于源使用了分页(每页给出50个结果,我需要实现分页才能导入所有结果。

数据源为JSON:

    https://localbitcoins.com//sell-bitcoins-online/VES/.json?page=1 
    or https://localbitcoins.com//sell-bitcoins-online/VES/.json?page=2

?page=1, ?page=2, ?page=3

我使用以下代码实现分页,但收到错误:

= (page as number) as table =>
let
    Source = Json.Document(Web.Contents("https://localbitcoins.com//sell-bitcoins-online/VES/.json?page="  & Number.ToText(page) )),
    Data1 = Source{1}[Data],
    RemoveBottom = Table.RemoveLastN(Data1,3)
in
    RemoveBottom

当我调用一个参数(第1页的1)进行测试时,出现以下错误,我似乎找不到原因?

An error occurred in the ‘GetData’ query. Expression.
Error: We cannot convert a value of type Record to type List.
Details:
    Value=Record
    Type=Type

为记录起见,我尝试使用ListGenerate包括页面处理:

= List.Generate( ()=>
[Result= try GetData(1) otherwise null, page = 1],
        each [Result] <> null,
        each [Result = try GetData([page]+1) otherwise null, Page = [Page]+1],
        each [Result])

在MS Excel中使用Power Query实现分页的默认方法是什么?

1 个答案:

答案 0 :(得分:0)

我知道您将近一个月前问过这个问题,也许此后已经找到了答案,但是无论如何它都会帮助您。

这行Data1 = Source{1}[Data]对我来说没有意义,因为我认为Source将成为一条记录,并且您不能对记录使用{1}位置查找语法。

下面的代码为我返回7页。您可能要检查是否获取了您需要/期望的所有页面。

let
    getPageOfData = (pageNumber as number) =>
        let
            options = [
                Query = [page = Number.ToText(pageNumber)]
            ],
            url = "https://localbitcoins.com/sell-bitcoins-online/VES/.json",
            response = Web.Contents(url, options),
            deserialised = Json.Document(response)
        in deserialised,
    responses = List.Generate(
        () => [page = 1, response = getPageOfData(page), lastPage = null],
        each [lastPage] = null or [page] <= [lastPage],
        each [
            page = [page] + 1,
            response = getPageOfData(page),
            lastPage = if [lastPage] = null then if Record.HasFields(response[pagination], "next") then null else page else [lastPage]
        ],
        each [response]
    )
in
    responses

List.Generate中,我的selector仅选择[response]字段以保持简单。您可以在selector本身(例如each [response][data][ad_list])内部更深入地研究数据,也可以创建一个新的步骤/表达式并使用List.Transform来实现。

经过一定数量的深入挖掘和转换之后,您可能会看到一些数据,例如:

Output

但这取决于您需要什么样的数据(以及您感兴趣的列)。


顺便说一句,我在上面的查询中使用了getPageOfData,但是这个特定的API在其响应中包含了下一页的URL。因此,第2页及其后的页面可能只是在响应中请求了URL(而不是调用getPageOfData)。