Azure数据工厂U-SQL管道创建随机文件夹和空文件

时间:2020-11-04 20:41:30

标签: azure azure-data-factory azure-data-lake u-sql

我当前正在使用Azure Data Factory V2。当我执行将多个CSV文件汇集在一起​​并向Azure Data Lake输出一个CSV文件的U-SQL管道时,它会随机创建一个文件夹,该文件夹的名称与我要创建的实际输出文件相似。

假设我像这样执行U-SQL:

@CombinedResult = 
EXTRACT 
    CustomerId string,
    FirstName string,
    LastName string
    Assessment1Name string,
    CreatedDate string

FROM @csvPath
USING Extractors.Csv(quoting:true, skipFirstNRows:1);
 
OUTPUT @CombinedResult TO @output
USING Outputters.Csv(outputHeader : true);

如果U-SQL管道旨在创建“ customer_interaction.csv”,则有时Azure将创建“ customer_interaction.csv”和“ customer_interaction.csv --- e522659f-638a-42ed-a453-96d9774398a1#N”文件夹(的GUID查找字符串不是该管道的运行ID,我找不到它的来源),它的空文件名为“ D2B099F5-28C0-4094-86E9-E43D195028D5-3_0_1.dtf#N”。

我浏览了Azure数据分析上的日志,没有发现与此活动有关的错误或问题。我怀疑这是由Azure系统本身制作的某种临时文件,但是我真的没有办法确认。有人知道为什么可以创建这样的文件夹和文件吗?

0 个答案:

没有答案