Question

我已经尝试按照此wiki http://wiki.apache.org/hadoop/AmazonS3将以下内容放入我的core-site.xml文件中，但我的hadoop无法与S3n建立连接。我在EC2集群上部署了hadoop 1.2.1。使用S3存储配置Hadoop的正确方法是什么？非常感谢！

 <property>
  <name>fs.default.name</name>
  <value>s3://BUCKET</value>
</property>

<property>
  <name>fs.s3.awsAccessKeyId</name>
  <value>ID</value>
</property>

<property>
  <name>fs.s3.awsSecretAccessKey</name>
  <value>SECRET</value>
</property>

Answer 1

您是否尝试在配置中将s3替换为s3n？

试试这个：

    <property>
      <name>fs.default.name</name>
      <value>s3n://BUCKET</value>
    </property>

    <property>
      <name>fs.s3n.awsAccessKeyId</name>
      <value>ID</value>
    </property>

    <property>
      <name>fs.s3n.awsSecretAccessKey</name>
      <value>SECRET</value>
    </property>

顺便说一句，对s3和s3n here

之间的差异进行了很好的解释

此外，您可能需要启动和停止HDFS群集（不确定是否需要启动它，因为我们不再使用它。）

如何在Amazon S3上配置带存储的hadoop 1.2.1？

1 个答案: