配置单元无法创建map / reduce作业

时间:2014-02-12 01:10:44

标签: hadoop mapreduce hive diagnostics

我使用了hive-0.11.0,hadoop 2.0.3和mysql 5.6 for metadata

我可以成功运行SELECT * FROM记录之类的语句,而不会创建map / reduce任务。

但是当我尝试运行SELECT * FROM records其中year ='1949'时,map / reduce任务总会出现错误

hadoop给我诊断:
应用application_1382680612829_0136失败1次,由于AM的容器appattempt_1382680612829_0136_000001退出,退出码:-1000原因是:java.io.FileNotFoundException:文件/ tmp / Hadoop的Hadoop的/ NM-本地目录/ filecache根本不存在org.apache.hadoop .fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:492)在org.apache.hadoop.fs.FileSystem.primitiveMkdir(FileSystem.java:996)在org.apache.hadoop.fs.DelegateToFileSystem.mkdir(DelegateToFileSystem.java:150 )在org.apache.hadoop.fs.FilterFs.mkdir(FilterFs.java:187)在org.apache.hadoop.fs.FileContext $ 4.next(FileContext.java:730)在org.apache.hadoop.fs.FileContext $ 4.next(FileContext.java:726)在org.apache.hadoop.fs.FileContext $ FSLinkResolver.resolve(FileContext.java:2379)在org.apache.hadoop.fs.FileContext.mkdir(FileContext.java:726) org.apache.hadoop.yarn.util.FSDownload.createDir(FSDownload.java:88)atg.apache.hadoop.yarn.util.FSDownload.call(FSDownload.java:274)org.apache.hadoop.yarn .util.FSDownlo ad.call(FSDownload.java:51)at java.util.concurrent.FutureTask $ Sync.innerRun(FutureTask.java:303)at java.util.concurrent.FutureTask.run(FutureTask.java:138)at java.util .concurrent.Executors $ RunnableAdapter.call(Executors.java:441)at java.util.concurrent.FutureTask $ Sync.innerRun(FutureTask.java:303)at java.util.concurrent.FutureTask.run(FutureTask.java:138 )在java.util.concurrent.ThreadPoolExecutor中$ Worker.runTask(ThreadPoolExecutor.java:886)在java.util.concurrent.ThreadPoolExecutor中的$ Worker.run(ThreadPoolExecutor.java:908)在java.lang.Thread.run(线程。 java:662)。这次尝试失败了..申请失败了。

我应该怎么做?感谢

1 个答案:

答案 0 :(得分:0)

总之,作为他们建议创建父文件夹的解决方案,还有一个应该修复为2.0.3 [1]

的补丁。
  

汤姆怀特添加了评论 - 30 / Nov / 12 21:36这解决了问题   创建父目录(如果它们尚不存在)。没有   修复测试将在10中失败大约4次;修复我没有看到   失败。

它看起来像我在hadoop bug数据库中找到的最相似的问题

如果你想看一下,这也与[2][3]有关