Question

我正在创建一个数据工厂管道，该数据管道将数据从REST API终结点复制到Azure Blob存储。 API的限制是一次只能返回1000条记录，因此我在管道中建立了一个循环，该循环将遍历所有页面。我想知道的是-是否可以使用复制活动将附加到Azure Blob中的相同文件，而不是为每个页面创建一个单独的文件？

下面是API响应的样子。我需要从每个响应中获取的唯一值是“记录”列表，因此我在考虑是否可以删除其他内容，并在循环运行时继续附加到同一文件中，尽管我没有这样做知道复制活动是否能够做到这一点。这可能吗？还是唯一的方法是将所有响应作为单独的文件放置在Blob存储中，然后在事后将它们组合在一起？

谢谢

{
    "totalResults": 8483,
    "pageResults": 3,
    "timeStamp": "2020/08/24 10:43:26",
    "parameters": {
        "page": 1,
        "resultsPerPage": 3,
        "filters": [],
        "fields": [
            "lastName",
            "firstName",
            "checklistItemsAssigned",
            "checklistItemsStarted",
            "checklistItemsCompleted",
            "checklistItemsOverdue"
        ],
        "sort": {
            "field": "lastName",
            "direction": "asc"
        }
    },
    "records": [
        {
            "checklistItemsAssigned": 10,
            "lastName": "One",
            "firstName": "Person",
            "checklistItemsOverdue": 0,
            "checklistItemsStarted": 10,
            "checklistItemsCompleted": 10
        },
        {
            "checklistItemsAssigned": 5,
            "lastName": "Two",
            "firstName": "Person",
            "checklistItemsOverdue": 0,
            "checklistItemsStarted": 5,
            "checklistItemsCompleted": 5
        },
        {
            "checklistItemsAssigned": 5,
            "lastName": "Three",
            "firstName": "Person",
            "checklistItemsOverdue": 0,
            "checklistItemsStarted": 5,
            "checklistItemsCompleted": 5
        }
    ]
}

Answer 1

ADF的“复制”活动支持从块，附加或页面类型的Blob复制Blob，但仅将数据复制到仅块Blob。 Blobk Blob只能被覆盖。您可能可以使用Storage SDK创建blob的附加类型，但这对于大多数项目来说是一个过大的选择。我会创建新的Blob，并在最后阶段将它们合并。

Azure数据工厂复制活动-附加到JSON文件

1 个答案: