Question

我有很多文本文件，它们的总大小约为300GB~400GB。它们都是这种格式

key1 value_a
key1 value_b
key1 value_c
key2 value_d
key3 value_e
....

每一行由一个键和一个值组成。我想创建一个数据库，可以让我查询一个键的所有值。例如，当我查询key1时，返回value_a，value_b和value_c。

首先，将所有这些文件插入数据库是一个大问题。我尝试使用LOAD DATA INFILE语法将几个GB大小的块插入到MySQL MyISAM表中。但似乎MySQL不能利用多核来插入数据。它和地狱一样慢。所以，我认为MySQL对于这么多记录来说不是一个好选择。

此外，我需要定期，每周甚至每天更新或重新创建数据库，因此，插入速度对我来说非常重要。

单个节点不可能有效地进行计算和插入，为了提高效率，我认为最好平行地在不同节点中执行插入。

例如，

node1 -> compute and store 0-99999.txt
node2 -> compute and store 10000-199999.txt
node3 -> compute and store 20000-299999.txt
....

所以，这是第一个标准。

标准1.以分布式批处理方式快速插入速度。

然后，正如您在文本文件示例中所看到的，最好为不同的值提供多个相同的键。就像key1映射到示例中的value_a / value_b / value_c一样。

标准2.允许多个键

然后，我需要查询数据库中的密钥。不需要关系或复杂的连接查询，我只需要简单的键/值查询。重要的部分是同一个值的多个键

标准3.简单快速的键值查询。

我知道有HBase / Cassandra / MongoDB / Redis ....等等，但我不熟悉所有这些，不确定哪一个符合我的需要。所以，问题是 - 使用什么数据库？如果它们都不符合我的需求，我甚至计划建立自己的需求，但需要付出努力：/

感谢。

Answer 1

可能有很多系统可以满足您的需求。您的要求可以通过以下几种方式轻松实现：

因为您不需要任何跨键操作，所以您可以使用多个数据库，通过散列或范围分片在它们之间划分键。这是解决您在MySQL中观察到的缺乏并行性的一种简单方法，可能会在很多其他数据库系统中观察到。
因为您从未进行过任何在线更新，所以您可以批量构建一个不可变数据库，然后在当天剩余的时间内查询它。我希望你能以这种方式获得更好的表现。

我倾向于构建一组散列分片LevelDB表。也就是说，我不会使用支持更复杂的数据结构（一堆表和一个日志）的实际leveldb::DB，以便您可以进行在线更新;相反，我会直接使用leveldb::Table和leveldb::TableBuilder个对象（没有日志，给定键只有一个表）。这是一种非常有效的查询格式。如果您的输入文件已经像您的示例中那样排序，那么表格构建也将非常高效。您可以通过增加分片数量来实现所需的任何并行性 - 如果您使用16核16磁盘机器来构建数据库，则使用至少16个分片，所有分片都是并行生成的。如果您使用的是16个16核，16个磁盘的机器，则至少需要256个分片。如果你的磁盘数量比核心数量少很多，那么请尝试两者，但你可能会发现更少的分片可以避免搜索。如果你小心，我认为你可以在构建表时基本上最大化磁盘吞吐量，并且这说得很多，因为我希望表由于密钥前缀压缩而明显小于输入文件（并且可选地Snappy阻止压缩）。您通常会避免搜索，因为除了通常可以在RAM中缓冲的相对较小的索引之外，leveldb表中的键以与从输入文件中读取它们相同的顺序存储，假设您的输入文件已经是排序。如果它们不是，您可能需要足够的分片，您可以在RAM中对分片进行排序然后将其写出来，也许可以更顺序地处理分片。

Answer 2

我建议您使用SSDB（https://github.com/ideawu/ssdb），这是一个适合存储数据集合的leveldb服务器。

您可以将数据存储在地图中：

ssdb->hset(key1, value1)
ssdb->hset(key1, value2)
...

list = ssdb->hscan(key1, 1000);
// now list = [value1, value2, ...]

SSDB速度快（Redis速度的一半，每秒30000次插入），它是leveldb的网络包装，单线安装和启动。它的客户包括PHP，C ++，Python，Java，Lua，......

Answer 3

传统的答案是如果你有大笔资金就使用Oracle，如果你没有，则使用PostgreSQL。但是，我建议你也看一下像mongoDb这样的解决方案，我发现它很快，并且还可以适应你的架构没有修复并可以改变数据的情况。

Answer 4

由于您已熟悉MySQL，我建议在转移到新系统之前尝试所有MySQL选项。许多bigdata系统针对非常具体的问题进行了调整，但在RDBMS认为理所当然的领域并不好。此外，大多数应用程序需要常规RDBMS功能以及bigdata功能。因此，迁移到新系统可能会产生新问题。

还要考虑您所选择的系统周围的软件生态系统，社区支持和知识库。

回到解决方案，数据库中会有多少行？这是一个重要的指标。我假设超过1亿。

试试Partitioning。它可以帮助很多。您的选择标准很简单而且您不需要连接只会让事情变得更好。

Postgres有一个处理分区的好方法。它需要更多代码才能启动和运行，但却提供了惊人的控制。与MySQL不同，Postgres对分区数量没有硬性限制。 Postgres中的分区是常规表。这使您可以更好地控制索引，搜索，备份，还原，并行数据访问等。

Answer 5

看看HBase。您可以使用列为密钥存储多个值。与RDBMS不同，您不需要在每行中具有固定的列集，但可以为行提供任意数量的列。由于您通过键（HBase用语中的行键）查询数据，因此可以通过读取该行中所有列的值来检索给定键的所有值。

HBase也是保留期的概念，因此您可以决定哪些列存活多长时间。因此，可以根据需要自行清理数据。人们已经采用了一些有趣的技术来利用保留期。

HBase具有很强的可扩展性，支持非常快速的读写操作。

Answer 6

InfoBright可能是个不错的选择。

大数据的数据库选择

6 个答案: