数据湖文件导致性能不佳

Question

我正在使用azcopy将本地文件上传到Blob存储。

我正在使用命令：

azcopy copy "localpath" "destinationpath(with SAS)" --include="*.csv" --recursive=true

我也尝试过

azcopy sync "localpath" "destinationpath(with SAS)" --include="*.csv"

我要上传的文件每个都超过1GB。 当我手动将文件上传到数据湖时，需要1个文件花费40分钟以上的时间。如果我使用azcopy进行操作，则每个文件要花费30分钟以上的时间，并且通常会失败。

花这么长时间是正常的吗？我是在做错什么，还是有更快的方法呢？

Answer 1

您可能已经知道，azcopy已优化以实现更好的性能。我看到了您的代码，没有丢失任何内容。如果是这样，我们什么也不能做（或者您可以检查是否是网络问题？）。

您可以尝试使用Azure Data Factory，它提供了非常高的性能，可以将数据湖的第一代数据加载速度提高到1GB / s。