Question

我正在查看moving data to and from an Azure Data Lake Store上的Microsoft文档，并找到有关GETPIVOTDATA属性的以下信息：

Azure Data Lake商店中文件的名称。 fileName是可选的，区分大小写。如果指定文件名，则活动（包括“复制”）将对特定文件起作用。＆＃34;

我在这里看到的是任何提及通配符的内容。例如，我如何使用文件夹中的所有文件，而只使用匹配fileName的文件？我尝试了星号，但似乎是字面意思。

Answer 1

根据您的源和接收器，您可以使用fileFilter属性而不是fileName来使用通配符，例如来自here的引用：

允许的值是：*（多个字符）和？（单个字符）。

示例1：“fileFilter”：“*。log”

示例2：“fileFilter”：   2014-1 - ?. TXT“

请注意，fileFilter适用于输入FileShare数据集。

此示例适用于本地文件共享：

{
    "name": "InputDataset-AllFiles",
    "properties": {
        "published": false,
        "type": "FileShare",
        "linkedServiceName": "OnPremisesFileServerLinkedService",
        "typeProperties": {
            "fileFilter": "*.txt",
            "folderPath": "."
        },
        "availability": {
            "frequency": "Day",
            "interval": 1
        },
        "external": true,
        "policy": {}
    }
}

我不确定这个属性是否适用于blob存储，数据湖等其他类型。你能否确认你的源码和接收器（假设其中一个是数据湖）？

此处提供更多信息：

https://docs.microsoft.com/en-us/azure/data-factory/data-factory-onprem-file-system-connector

Polybase now supports ADLS所以你可以在没有这些ADF诡计的情况下以这种方式移动数据。

Azure Data Lake Store的通配符在Data Factory中输入

1 个答案: