Question

我对aws上的hadoop访问s3有疑问。

<property>
<name>fs.default.name</name>
<value>s3n://testhadoophiveserver</value>
</property>

<property>

<name>fs.s3n.awsAccessKeyId</name>
<value>I have fill it</value>
</property>
<property>
<name>fs.s3n.awsSecretAccessKey</name>
<value>I have fill it</value>
</property>

所以。当我运行start-all.sh时出现错误代码。像这样：

hadoopmaster: Exception in thread "main" java.net.UnknownHostException: unknown host: testhadoophiveserver
hadoopmaster:   at org.apache.hadoop.ipc.Client$Connection.<init>(Client.java:195)

hadoopmaster:   at org.apache.hadoop.ipc.Client.getConnection(Client.java:850)

adoopmaster:    at org.apache.hadoop.ipc.Client.call(Client.java:720)

hadoopmaster:   at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:220)

hadoopmaster:   at $Proxy4.getProtocolVersion(Unknown Source)

hadoopmaster:   at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:359)
hadoopmaster:   at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:346)
hadoopmaster:   at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:383)
hadoopmaster:   at org.apache.hadoop.ipc.RPC.waitForProxy(RPC.java:314)

但是，如果我使用HDFS，那没关系。现在，我无法使用S3文件系统。谁可以帮助我？

Answer 1

我认为你不应该运行“start-all.sh”。脚本“start-all.sh”包括启动HDFS和MapReduce的代码。如果已配置为使用S3作为底层存储层，则无需启动HDFS。 start-dfs.sh由start-all.sh调用，因此它将执行代码以启动您未配置的HDFS。

hadoop无法访问s3

1 个答案: