我当前正在使用Azure Data Factory V2。当我执行将多个CSV文件汇集在一起并向Azure Data Lake输出一个CSV文件的U-SQL管道时,它会随机创建一个文件夹,该文件夹的名称与我要创建的实际输出文件相似。
假设我像这样执行U-SQL:
@CombinedResult =
EXTRACT
CustomerId string,
FirstName string,
LastName string
Assessment1Name string,
CreatedDate string
FROM @csvPath
USING Extractors.Csv(quoting:true, skipFirstNRows:1);
OUTPUT @CombinedResult TO @output
USING Outputters.Csv(outputHeader : true);
如果U-SQL管道旨在创建“ customer_interaction.csv”,则有时Azure将创建“ customer_interaction.csv”和“ customer_interaction.csv --- e522659f-638a-42ed-a453-96d9774398a1#N”文件夹(的GUID查找字符串不是该管道的运行ID,我找不到它的来源),它的空文件名为“ D2B099F5-28C0-4094-86E9-E43D195028D5-3_0_1.dtf#N”。>
我浏览了Azure数据分析上的日志,没有发现与此活动有关的错误或问题。我怀疑这是由Azure系统本身制作的某种临时文件,但是我真的没有办法确认。有人知道为什么可以创建这样的文件夹和文件吗?