使用MsConcat连接文件的文件计数上限是多少？

Question

我们正在考虑使用MsConcat函数来合并Azure Data Lake Store中存储的大量小文件。我想知道是否对一些文件有任何限制。我没有看到有关documentation中文件数量限制的任何信息。

Answer 1

msconcat API旨在连接多达500个文件。在大多数典型情况下，它应该适用于此大小的操作。有一些不常见的情况，例如当系统处于高负载时，您可能会看到500个文件或以下的故障。但是在正常操作期间不会出现这些情况。