我需要从Azure Data Lake读取文件,我必须在Angular-2 Component中显示这些文件。但是我在使用List File Status()方法时只从Azure Data Lake获取文件属性。但我需要带有内容的文件。如何阅读包含azure Data Lake内容的所有文件。我使用下面的代码列出所有文件状态。
listOfFiles = ListItems(pathOfFolder);
var stTime = new DateTime();
foreach (var file1 in listOfFiles) {
var srcPath = pathOfFolder + "/" + file1.PathSuffix;
using (var stream = adlsFileSystemClient.FileSystem.Open(_adlsAccountName, srcPath)) {
using (var fileStream = new FileStream(destPath, FileMode.Create))
{
stream.CopyTo(fileStream);
listOfStreams.Add(fileStream);
}
}
}
但它会提供文件流列表,这将花费很多时间。有没有办法让所有文件都包含内容。?
答案 0 :(得分:0)
没有API可以一次性获取所有文件及其内容。可以想象,一个文件夹可能有数百万个文件,每个文件可能有数TB的数据。单个REST调用无法稳健地返回枚举以及此类大型数据集的内容。
你这样做是正确的方法。