我有两个Data Lake gen2存储帐户,我需要将约250GB的数据从一个递归传输到另一个(整个文件系统结构)。文件系统结构包含很多文件(上万个)。
我尝试过:
使用AzCopy CLI下载数据。
使用Azure存储资源管理器下载数据。
使用Azure Data Factory传输数据。
所有导致的相同问题-超时。
这是错误:
Transfer of 'dev/PROJECT/' to 'Z:\XXX' failed: 120000 items transferred,
error: failed to perform copy command due to error: cannot start job due
to error: error listing the files inside the given source url XXX.
...
RESPONSE ERROR (ServiceCode=OperationTimedOut) =====\\nDescription=500
Operation could not be completed within the specified time., Details: (none)\\n
所以我认为这是因为文件系统中有太多文件。
有解决方法或其他方法吗?
-更新-
我已经开始使用Storage Explorer逐个手动下载文件夹,其中大多数已成功下载。
但是我遇到了一个文件夹,其中有几个MB,因此无法下载。下载停留在“开始将'dev / XXX / NB054 /'传输到'C:\ XXX'(使用名称和密钥)”上。但是,当我在文件夹中下载文件时,就可以了。
有什么想法吗?