导入数据从mysql传输到hadoop

时间:2015-08-06 14:51:04

标签: mysql hadoop bigdata

我在我的系统中安装了hadoop 2.7.1和sqoop 1.4.6。我正在尝试将表从MySQL导入到hdfs。我收到了以下错误:

  

at org.apache.hadoop.util.Shell.runCommand(Shell.java:545)at at   org.apache.hadoop.util.Shell.run(Shell.java:456)at   org.apache.hadoop.util.Shell $ ShellCommandExecutor.execute(Shell.java:722)     在   org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:211)     在   org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302)     在   org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82)     在java.util.concurrent.FutureTask.run(FutureTask.java:266)at   java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)     在   java.util.concurrent.ThreadPoolExecutor中的$ Worker.run(ThreadPoolExecutor.java:617)     在java.lang.Thread.run(Thread.java:745)

容器以非零退出代码127退出 没有这个尝试。申请失败。 INFO mapreduce.Job:计数器:0 WARN mapreduce.Counters:不推荐使用Group FileSystemCounters。请改用org.apache.hadoop.mapreduce.FileSystemCounter INFO mapreduce.ImportJobBase:在17,7175秒内传输0个字节(0字节/秒) WARN mapreduce.Counters:Group org.apache.hadoop.mapred.Task $ Counter已弃用。请改用org.apache.hadoop.mapreduce.TaskCounter INFO mapreduce.ImportJobBase:检索到0条记录。 ERROR tool.ImportTool:导入时出错:导入作业失败!

在这种情况下我该怎么办?

1 个答案:

答案 0 :(得分:0)

我解决了这个问题。可能对你有用;)

mapred-site.xml中

<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>bd01.19888</value>
</property>