如何将csv文件从谷歌存储复制到Azure Data Lake

Question

我尝试使用Python从Google Storage上传文件到Azure Data Lake。 关注此网址：https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-data-operations-python#create-filesystem-client 但问题是文件是在谷歌存储而不是本地，所以我尝试使用GCS中的文件的公共URL而不是本地文件路径，看起来像＆＃34; https://storage.googleapis.com/ /＆lt; * *** ******文件名＆GT;的.csv＆＃34; ，但我得到的错误是它无法打开文件!!

enter image description here

之前有人这样做过，这是正确的做法还是其他方式

问候

Answer 1

我认为您使用的API要求lpath引用本地路径而不是其他云路径。所以我看到两个选择：

1. 将文件从Google存储下载到您的本地，然后使用ADLS API从那里上传。
2. 或者，使用Azure Data Factory之类的东西来编排数据移动，而无需进行本地复制。