从sql server到hbase的sqoop数据遇到区域服务器死机

时间:2015-12-22 05:29:30

标签: hbase sqoop

我正在尝试通过sqoop将数据从sql server导入hbase。 sqoop脚本是工作,我尝试使用一个小数据,它工作。 但当我尝试使用它导入一个巨大的数据(20G) 首先它显示作业已提交,映射0%,减少0%。 服务器时间过后,作业仍处于运行状态。 所以我检查日志,它显示连接被拒绝,由区域服务器死亡,所有服务器死亡。 我用start-hbase.sh再次启动hbase,它运行了一段时间然后死了,我不知道怎么办。

有人遇到这个问题吗?

1 个答案:

答案 0 :(得分:0)

您可以使用sqoop将数据从关系服务器导入HDFS,使用参数-m / - num-mappers

指定映射器的数量