同一HBase集群内的随机读取和扫描

时间:2015-12-08 08:19:00

标签: hadoop hbase yarn

我们的情况是我们托管数据:

  • MapReduce / Spark作业(由seq。读取的磁盘读取)
  • 随机读取。 (通过搜索访问的磁盘)

全部在同一个群集/表中。

使用YARN,我们可以管理CPU和RAM等资源,但在密集扫描期间,HDD可能成为瓶颈,并且可能会降低随机读取性能。如何管理该资源

一般情况下如何处理这种情况?

1 个答案:

答案 0 :(得分:0)

由于mapreduce一般不需要实时数据,人们经常备份hbase表并在备份数据表上运行mapreduce。或者做一个表的快照并运行mp。在上面。