Question

我正在测试将数据从MySQL导入到在Ubuntu Server下以伪分布式模式运行的Hadoop。看起来好像正在提交作业，但在某些时候执行崩溃，奇怪的是底层用户被注销。在此之后，除了在HDFS中进行一些清理之外，还需要完全重启。我最终在namenode和datanode日志中看到的内容如下：

2016-10-05 12:10:33,688 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: RECEIVED SIGNAL 15: SIGTERM
2016-10-05 12:10:33,681 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: RECEIVED SIGNAL 15: SIGTERM

我使用以下版本：

Ubuntu Server 16.04
Hadoop 2.7.3
Sqoop 1.4.6（sqoop-1.4.6.bin__hadoop-2.0.4-alpha）
MySQL Server 5.7.15
MySQL Connector / J 5.1.39

Hadoop下的配置主要是默认配置，例如我还没有调整任何内存，磁盘或CPU相关参数。

在 Ubuntu Server 14.04 上运行相同的确切方案可以正常工作。

更新

下面的Hadoop配置。

芯-site.xml中

<configuration>
   <property>
      <name>fs.defaultFS</name>
      <value>hdfs://localhost:9000</value> 
   </property>
</configuration>

mapred-site.xml中

<configuration>
   <property> 
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
   </property>    
</configuration>

HDFS-site.xml中

<configuration>
   <property>
      <name>dfs.replication</name>
      <value>1</value>
   </property>
   <property>
      <name>dfs.name.dir</name>
      <value>file:///home/hadoop/hadoopinfra/hdfs/namenode</value>
   </property>
   <property>
      <name>dfs.data.dir</name> 
      <value>file:///home/hadoop/hadoopinfra/hdfs/datanode</value> 
   </property>
</configuration>

纱-site.xml中

<configuration>
   <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value> 
   </property>
</configuration>

hadoop-env.sh

唯一改变的是：

export JAVA_HOME=/usr/lib/jvm/java-7-oracle

通过Sqoop将表数据从MySQL导入到Ubunt服务器上的Hadoop HDFS时出现问题

0 个答案: