Question

我正在尝试使用azure数据工厂v2读取最新的blob文件（csv）。文件名还包含日期（YYYY-MM-DD mm：ss-abcd.csv）。我需要从最新的文件中读取数据并加载到表存储中。您能帮我如何使用ADF读取最新文件

Answer 1

你好Faiz Rahman，谢谢你的提问。您选择的日期格式具有字典编排匹配和时间排序的有用功能。这意味着，一旦有了斑点列表，就需要提取日期并进行比较。

如果斑点列表很大，这可能不切实际。在这种情况下，每当您编写一个新的Blob时，都要在某个地方跟踪它，例如“ maxBlobName.txt”，并让管道读取该文件以获取最新文件的名称。

这是一些示例示例，用于比较Blob名称的日期部分。为了适应您的目的，您将需要使用GetMetadata活动来获取Blob名称，并使用一些字符串函数来仅提取名称的日期部分以进行比较。

{
"name": "pipeline9",
"properties": {
    "activities": [
        {
            "name": "ForEach1",
            "type": "ForEach",
            "dependsOn": [
                {
                    "activity": "init array",
                    "dependencyConditions": [
                        "Succeeded"
                    ]
                }
            ],
            "typeProperties": {
                "items": {
                    "value": "@variables('list')",
                    "type": "Expression"
                },
                "isSequential": true,
                "activities": [
                    {
                        "name": "If Condition1",
                        "type": "IfCondition",
                        "typeProperties": {
                            "expression": {
                                "value": "@greater(item(),variables('max'))",
                                "type": "Expression"
                            },
                            "ifTrueActivities": [
                                {
                                    "name": "write new max",
                                    "type": "SetVariable",
                                    "typeProperties": {
                                        "variableName": "max",
                                        "value": {
                                            "value": "@item()",
                                            "type": "Expression"
                                        }
                                    }
                                }
                            ]
                        }
                    }
                ]
            }
        },
        {
            "name": "init array",
            "type": "SetVariable",
            "typeProperties": {
                "variableName": "list",
                "value": {
                    "value": "@split(pipeline().parameters.input,',')",
                    "type": "Expression"
                }
            }
        }
    ],
    "parameters": {
        "input": {
            "type": "string",
            "defaultValue": "'2019-07-25','2018-06-13','2019'-06-24','2019-08-08','2019-06-23'"
        }
    },
    "variables": {
        "max": {
            "type": "String",
            "defaultValue": "0001-01-01"
        },
        "list": {
            "type": "Array"
        }
    }
}

}

如何使用Azure Data Factory V2（ADF）在文件夹中查找最新文件

1 个答案: