我有超过600GB的数据。我想将这些数据加载到HBase中,并为服务数据构建一个宁静的服务。
数据具有以下格式
文件1:
{key1:value1, key2:value2 .......}
{key1:value3, key2:value4 .......}
.................................
(arbitary number of entries)
.................................
file2的:
{key1:value5, key2:value6 .......}
{key1:value7, key2:value8 .......}
.................................
(arbitary number of entries)
.................................
............................................... ...............................
(大量这样的文件)
............................................... ...............................
其中一个键是id
键和另外一个timestamp
键。在我的RESTful服务中,请求应该包含id
和timestamp
并返回条目(在所有600GB数据集中)。
我对几件事感到困惑
我主要使用Postgres和MySQL(RDBMS数据库),但稍微使用过CouchDB(不熟练)。我很困惑如何根据我的要求建模我的Hbase数据库。
加载到Hbase的过程究竟是什么,因为它采用上述格式。