将JSON加载到Hbase并对数据库建模

时间:2014-10-13 07:52:05

标签: json hbase

我有超过600GB的数据。我想将这些数据加载到HBase中,并为服务数据构建一个宁静的服务。

数据具有以下格式

文件1:

{key1:value1, key2:value2 .......}

{key1:value3, key2:value4 .......}
.................................
  (arbitary number of entries)
.................................

file2的:

{key1:value5, key2:value6 .......}

{key1:value7, key2:value8 .......}
.................................
  (arbitary number of entries)
.................................

............................................... ...............................

(大量这样的文件)

............................................... ...............................

其中一个键是id键和另外一个timestamp键。在我的RESTful服务中,请求应该包含idtimestamp并返回条目(在所有600GB数据集中)。

我对几件事感到困惑

  1. 我主要使用Postgres和MySQL(RDBMS数据库),但稍微使用过CouchDB(不熟练)。我很困惑如何根据我的要求建模我的Hbase数据库。

  2. 加载到Hbase的过程究竟是什么,因为它采用上述格式。

0 个答案:

没有答案