HBase缓慢的数据加载

时间:2014-06-26 08:03:55

标签: mysql hadoop hbase bigdata

我在将大数据从mysql数据库加载到HBase小群集时遇到问题。群集配置如下

机器(1):HDFS /主要HDFS节点/纱线资源管理器/纱线节点管理器/ MapReduce /历史服务器/ zookeeper / Region Server /

机器(2):纱线节点管理器/辅助HDFS节点/主HBasse

机器(3):纱线节点管理器/ zookeeper /区域服务器/

Machine(5):/ zookeeper / Region Server /

每台机器参数都是 62GB RAM 英特尔(R)Xeon(R)CPU E5-2670 0 @ 2.60GHz CPU

加载数据如下:Java JDBC驱动程序连接到MySQL数据库,然后读取记录映射到HBase行,然后将它们插入HBase。 每个记录代表一个具有大约10个基本类型字段的java类。

问题:加载数据需要花费太多时间来加载,问题出在哪里? 例如:大约1000万条记录需要大约6个小时才能从mysql加载到HBase,这是正常的吗? 这可以改善吗? 可能的原因是什么原因可能导致使用java JDBC驱动程序将数据从mysql加载到HBase中变慢?

0 个答案:

没有答案