Hadoop 2.2.0没有用于scheme的AbstractFileSystem:s3n

时间:2014-02-25 04:50:56

标签: hadoop amazon-s3

环境:Ubuntu,Hadoop 2.2.0,Amazon s3n作为文件系统

  1. 当我提交作业时,我收到以下错误。一般检查CLASS_PATH和hadoop配置。一切看起来都不错我能够列出s3目录(hdfs dfs -ls /)。
  2. 14/02/24 20:40:55 INFO client.RMProxy:在/0.0.0.0:8032连接到ResourceManager 14/02/24 20:40:55错误security.UserGroupInformation:PriviledgedActionException as:hduser(auth:SIMPLE)cause:org.apache.hadoop.fs.UnsupportedFileSystemException:No AbstractFileSystem for scheme:s3n 14/02/24 20:40:55 INFO mapreduce.Cluster:由于错误而无法使用org.apache.hadoop.mapred.YarnClientProtocolProvider:实例化YarnClient时出错 线程“main”中的异常java.io.IOException:无法初始化Cluster。请检查mapreduce.framework.name的配置和相应的服务器地址。     在org.apache.hadoop.mapreduce.Cluster.initialize(Cluster.java:120)     在org.apache.hadoop.mapreduce.Cluster。(Cluster.java:82)     在org.apache.hadoop.mapreduce.Cluster。(Cluster.java:75)     在org.apache.hadoop.mapred.JobClient.init(JobClient.java:470)     在org.apache.hadoop.mapred.JobClient。(JobClient.java:449)     在org.apache.hadoop.streaming.StreamJob.submitAndMonitorJob(StreamJob.java:1011)     在org.apache.hadoop.streaming.StreamJob.run(StreamJob.java:135)     在org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)     在org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84)     在org.apache.hadoop.streaming.HadoopStreaming.main(HadoopStreaming.java:50)     at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)     at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source)     at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source)     at java.lang.reflect.Method.invoke(Unknown Source)     在org.apache.hadoop.util.RunJar.main(RunJar.java:212)

    1. 当我更改core-site.xml并使用本地文件系统(也启动了dfs)时,一切都按预期工作。
    2. 需要帮助解决问题。提前谢谢。

0 个答案:

没有答案