auxService:mapreduce_shuffle不存在

时间:2014-10-15 11:34:44

标签: mysql hadoop hdfs sqoop yarn

当我尝试运行以下命令时:

# sqoop import --connect jdbc:mysql://IP Address/database --username root --password PASSWORD --table table_name --m 1

将数据从mysql数据库导入HDFS,我收到错误:

  

auxService:mapreduce_shuffle不存在。

搜索并浏览了许多网站,没有任何帮助。

如何摆脱这个问题?如果需要更多输入,请告诉我。

1 个答案:

答案 0 :(得分:4)

您在yarn-site.xml中缺少的条目。在名称节点和数据节点中应用这些条目。如果您阅读此http://dataheads.wordpress.com/2013/11/21/hadoop-2-setup-on-64-bit-ubuntu-12-04-part-1/,您会看到yarn-site.xml 必须此条目:

 <property>
     <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>

辅助服务时要小心,因为中间的“ - ”可能会让你遇到这个问题。