Question

我有一个由12个裸机服务器制作的Accumulo 1.8.1群集。

群集配置：

每台服务器都有256GB Ram和2 x 10核CPU。

2台机器用作主机（运行HDFS NameNodes，Accumulo Master和Monitor）。其他10台机器有12个1 TB的磁盘（11个由HDFS DataNode进程使用）并且正在运行Accumulo TServer进程。所有机器都通过10Gb网络连接，其中3台运行ZooKeeper。

实验：

我正在此群集上运行大量的摄取测试，但我从未能够在每台Tablet Server上达到超过20％的CPU使用率。我正在每个数据节点上运行一个摄取过程（使用批处理编写器）。该表是预先拆分的，每个平板电脑服务器有4个平板电脑。监控网络我已经看到，每个节点接收/发送的数据的峰值速率约为120MB / s / 100MB / s，而每台平板电脑上的聚合磁盘写入吞吐量约为120MB / s。

Accumulo配置：

<rule name="Products" stopProcessing="true">
<match url="produkte\.asp" />
<conditions logicalGrouping="MatchAny">
    <add input="{REQUEST_URI}" pattern="^(.*)produkte\.asp\?produkt=(.*)$" />
</conditions>
<action type="Redirect" url="produkte/{C:2}.html" appendQueryString="false" redirectType="Temporary" />

Accumulo效果概述：

问题：

正如你所看到的，我有很多山谷，摄食率达到0。什么是识别导致0摄取率周期的瓶颈的好方法？感谢。

Answer 1

确保您使用的是Accumulo原生地图。
增加tserver.total.mutation.queue.max，我会尝试100M到200M。
尝试使用snappy压缩（或无），而不是默认的gz。
确保accumulo.metadata和accumulo.root表的table.durability值为“flush”（我想你已经这样做了）。有关如何执行此操作及其重要性的说明，请参阅https://accumulo.apache.org/blog/2016/11/02/durability-performance.html。
尝试共享您的客户端代码。您可以尝试增加BatchWriter线程的数量，并进一步预拆分表。
确认您已根据https://accumulo.apache.org/1.8/accumulo_user_manual.html#_native_maps_configuration

Accumulo Tablet Server不利用主机上的所有可用资源

1 个答案: