搜索查询 - hive或hbase或solr

时间:2016-01-29 23:02:56

标签: search solr hive hbase

只需发布此信息即可了解哪种工具可以更好地满足以下要求

DB2中的一个大表,包含状态列,2个整数列,1个时间戳列和2个blob列。 2个blob列压缩了xml gzip。 要求是将此数据卸载到hadoop中,并能够基于状态和/或2个整数列和/或时间戳列(一个或多个列的组合)进行查询。 使用配置单元,基于状态列对数据进行分区并且可能在id列上进行分区是有意义的。这不会是最佳的,因为只搜索这些ID或时间范围需要更长的时间。

然后我开始倾向于使用一个id列作为键来存储这些数据的Hbase,但是再次搜索其他列并不是最佳的。然后我查看solr以查看是否可以索引所有搜索列以使其更快。

我很困惑如何处理这个问题。任何方向都会很有价值。

更新:

查询模式

  
      
  1. 按州
  2.   
  3. 按州和id1。最新的基于时间戳列的id1
  4.   
  5. 按州,id1,id2。最新基于时间戳列。
  6.   

0 个答案:

没有答案