Azure数据工厂按文件夹合并实木复合地板文件

Question

我有一个ADLS Gen2帐户（已启用HNS），其中包含以下格式的镶木地板文件：

-MainFolder
 -SubFolder 1
 -SubFolder 2
   -Year
   -Month
   -Day
     -Parquet file 01
     -Parquet file 02
     -...

我想使用Azure Data Factory将最低级别的实木复合地板文件合并为一个文件，最终结构应如下所示。

-MainFolder
 -SubFolder 1
 -SubFolder 2
   -Year
   -Month
   -Day
     -Merged Parquet File

如果我使用“复制数据”活动，则只能在“合并文件”和“保留Hirachie”之间进行选择。 有没有办法做到这一点？ 谢谢您的帮助！

Answer 1

如果“合并活动”中的“合并文件”不适用于您，则可以使用“数据流”，并且“联合”转换可以将多个文件合并为一个文件输出。