Apache phoenix的写性能-我可以期望什么?

时间:2019-04-11 07:29:54

标签: hadoop hbase phoenix

我有一个Hadoop集群(hdfs,yarn,hbase),开发人员抱怨性能问题,因此我试图进行许多优化,但是作为Hbase的初学者,我想知道当前的性能。

我开发了一种快速工具,自1周以来,该工具将10万个并行线程中的10万个产品注入到Phoenix表(该结构与生产表具有相同的结构)中,并绘制图形结果。

我的Hadoop集群由以下组成:

  • HA中的2个namenode:2个具有2个vCPU和12Gb内存的VM
  • 15个数据节点:物理服务器
    • 6个具有48个vCPU和189 Gb内存的
    • 5个具有40个vCPU和189 Gb内存的
    • 4个具有8个vCPU和62 Gb内存的
  • 所有datanode也是Yarn节点管理器
  • 具有40和48个vCPU的数据节点也是Hbase区域服务器
  • 3个用于Hdfs,Yarn和Hbase HA的共享Zookeeper:3个具有2个vCPU和8Gb内存的虚拟机

我正在使用Apache Hadoop 2.8.3,Hbase 2.0.0和Phoenix 5.0.0

我的注射器工具的当前结果是(在10个并行线程中插入100k个要约):

  • 最佳时间为57秒(相当于〜1700次插入/秒)
  • 最坏的时间为10.4分钟(相当于每秒钟〜160次插入)
  • 平均2分钟的时间(相当于〜1000次插入/秒)

最差的喷射时间对应于一个时刻,其中有许多纱线过程正在运行,因此这并不令我感到惊讶。 results graph

我的问题是“简单”:1000次插入/秒的比率好吗?还是我应该还有更多?

谢谢。

0 个答案:

没有答案