我在将大数据从mysql数据库加载到HBase小群集时遇到问题。群集配置如下
机器(1):HDFS /主要HDFS节点/纱线资源管理器/纱线节点管理器/ MapReduce /历史服务器/ zookeeper / Region Server /
机器(2):纱线节点管理器/辅助HDFS节点/主HBasse
机器(3):纱线节点管理器/ zookeeper /区域服务器/
Machine(5):/ zookeeper / Region Server /
每台机器参数都是 62GB RAM 英特尔(R)Xeon(R)CPU E5-2670 0 @ 2.60GHz CPU
加载数据如下:Java JDBC驱动程序连接到MySQL数据库,然后读取记录映射到HBase行,然后将它们插入HBase。 每个记录代表一个具有大约10个基本类型字段的java类。
问题:加载数据需要花费太多时间来加载,问题出在哪里? 例如:大约1000万条记录需要大约6个小时才能从mysql加载到HBase,这是正常的吗? 这可以改善吗? 可能的原因是什么原因可能导致使用java JDBC驱动程序将数据从mysql加载到HBase中变慢?