如何使用.boto文件启用hadoop访问Google Cloud

Question

我们公司正在从s3迁移到GCS。虽然命令行实用程序gsutil工作正常，但我在配置Hadoop（core-site.xml）以启用对GCS的访问方面遇到了困难。此Google页面https://storage.googleapis.com/hadoop-conf/gcs-core-default.xml列出了需要添加的名称 - 值对，但我在〜/ .boto文件中找不到任何这些。 .boto文件只有以下集：

[凭证] 下的
1. gs_oauth2_refresh_token
2. [GSUtil]
下的default_project_id
3. 很少有人喜欢api_version等。 [OAuth2]部分为空。

我可以使用gs_oauth2_refresh_token以某种方式生成必要的密钥并将它们添加到Hadoop配置中吗？或者我可以从任何其他gsutil配置文件中获取这些文件吗？

Answer 1

对于hadoop配置，您可能希望使用服务帐户而不是与实际电子邮件地址关联的gsutil凭据;有关设置p12密钥文件以及其他必要配置参数的更多详细信息，请参阅these instructions for manual installation of the GCS connector。