我一直致力于在HBase中将hive数据转换并加载到HFiles的小任务;框架MapR。使用bulkload我在HFiles中转换后加载数据。转换没有任何问题,转换正常。我面临的唯一问题是当hive数据的大小增加时MR工作失败。由于虚拟内存被填满,作业失败。如果配置单元数据大小限制超过10Gigs,则作业会中断。
所有数据都移动到单个区域服务器,而不是分布在多个区域服务器上;它是我正在研究的10节点集群。似乎有 hbase热点。
我尝试将区域分成多个(NUMREGIONS => 256)并在区域之间平均分配负载(SPLITALGO =>'UniformSplit')。但它并没有解决问题。 任何人都知道如何解决这个热点问题?
此致 阿迪尔