我们能否使用Azure CLI将文件上传到Azure Data Lake Storage Gen2

时间:2019-02-17 08:06:53

标签: azure azure-data-lake azure-cli

我要做的就是使用Azure CLI(通过`命令)将文件从原始文件上传到Azure Data Lake Storage Gen2 ,但是出现连接错误! 我可以使用Azure CLI来做到这一点吗?还是我必须使用其他工具? PS:我无法使用Azure数据工厂,我希望我的工作从最初开始而不是从云开始! ks。

azure.datalake.store.exceptions.DatalakeRESTException:  HTTP error: 
ConnectionError(MaxRetryError("HTTPSConnectionPool(host='storageAccount.azuredatalakestore.net', port=443): 
Max retries exceeded with url: /webhdfs/v1/my-file-system/data.csv?OP=GETFILESTATUS&api-version=2018-05-01 
(Caused by NewConnectionError('<urllib3.connection.VerifiedHTTPSConnection object at 0x7fc7ed169c50>: 
Failed to establish a new connection: [Errno -2] Name or service not known')

2 个答案:

答案 0 :(得分:0)

否,没有适用于gen2文件系统的Azure CLI,请参阅此link

enter image description here

如果要上传文件,请参考以下两种解决方法。

  1. 使用Azure Storage Explorer

  2. 使用AzCopy v10,请注意仅v10支持Azure Data Lake Storage Gen2 API。使用myaccount.dfs.core.windows.net作为URI来调用ADLS Gen2 API。

答案 1 :(得分:0)

成功了^^ 因此问题出在我的身份验证方法上,要使其生效,您必须将用户添加为Data Lake Storage Contributor + Owner。 对于在UI中寻找角色的任何人,它都称为“存储Blob数据贡献者(预览)”。对于资源组,选择访问控制(IAM)|在刀片中添加,找到角色 Storage Blob数据贡献者(预览),并根据需要分配对用户,组或角色的访问权限。