我目前正在做一个研究项目，我获得了大约400G的数据。它们都是成对的，目前我正在使用mysql的加载数据到我的数据库中。我已经在mysql的插入优化中考虑了很多选项，但是它需要很长时间才能完成（估计是118天）。
然后我调查了最好的钥匙，价值店：东京内阁。我非常喜欢它，它的速度很快，很简单。但是，它不允许多次出现相同的键。这不符合我的要求。
（我的数据是这样的 ＆lt; 1,2＆gt; ＆lt; 1,3＆gt; ＆lt; 1,4＆gt; ＆lt; 2,9＆gt; ......等等）
这里有人推荐一些好东西吗？我最好想要一些有php的API（因为我将使用web dev作为我的内部UI）
比mysql更快的东西 （我将运行的唯一查询是“从表WHERE c2 = X中选择c1”或“SELECT c2 FROM table WHERE c1 = X”）
我必须插入所有数据一次才能让选择工作。因此，在我的数据大小上插入不会超过一周。
（分布式正常，我有一个群集）。
答案 0 :(得分：1)
您之前使用过LOAD DATA INFILE吗？这是在MySQL中加载数据的最快方法。 400GB的118天听起来像是在为每一行做一堆INSERT语句而迭代...
答案 1 :(得分：0)
是的，400 GB的数据将使MySQL乞求怜悯。您应该使用Oracle或Microsoft SQL。
即使这样，一旦你将这些数据输入数据库，你打算用它做什么？每个查询都需要几分钟。