将大数据集上传到MySql

Question

我在将数据插入MySql时遇到问题。我正在使用的数据集很大，它的数据是关于网络攻击的。例如，我正在处理的当前数据有大约25,000条记录，每次创建新模式并插入数据时，只下载1000条记录。我已经尝试了很多次，结果仍然是一样的。请帮助我，因为我一直在阅读，它说大数据集不是MySql的问题。

Answer 1

看一下MySQL的LOAD DATA INFILE。在我们使用真正的搜索引擎之前，我们曾经必须导出3小时的快照，其中包括数百万行。因此我们通过SELECT INTO OUTFILE导出数据，然后在边缘节点上执行LOAD DATA INFILE。大约15分钟加载最大数据库（500万+）的数据。

Answer 2

一个非常古老的问题，对于那些可能在这里绊倒的人来说，我只有2美分。

25,000条记录太小，不足以让mysql出现任何问题。我们有数百个包含数百万行的表。除非，例如，你在树莓派上运行mysql。

输入记录的大小不是问题。我能想到的两个潜在原因是：

1. 您的LOAD INFILE中有一个“ IGNORE 号码 LINES ”选项。
2. 您的选择包含“ LIMIT 1000 ”选项。如果你使用某种Mysql客户端程序（例如：SqlYog），它们有一个默认限制。