＆＃34;太多的获取失败＆＃34;使用Hive时

Question

我正在针对3个节点的hadoop集群运行配置单元查询。而且我收到的错误是“＃34;太多的提取失败＆＃34;。我的hive查询是：

  insert overwrite table tablename1 partition(namep)
  select id,name,substring(name,5,2) as namep from tablename2;

我试图运行的查询。我想要做的就是将数据从tablename2传输到tablename1。任何帮助表示赞赏。

Answer 1

这可能是由各种hadoop配置问题引起的。这里有一对特别要寻找：

• DNS问题：检查您的/etc/hosts
• 减速器的映射器侧没有足够的http线程

一些建议的修补程序（来自Cloudera疑难解答）

• 设置mapred.reduce.slowstart.completed.maps = 0.80
• tasktracker.http.threads = 80
• mapred.reduce.parallel.copies = sqrt (node count) but in any case >= 10

以下是有关详细信息的疑难解答链接

http://www.slideshare.net/cloudera/hadoop-troubleshooting-101-kate-ting-cloudera