仅导入从CSV到MySQL的匹配数据

Question

我需要从非常庞大的csv文件导入一些数据，大约1GB。

而不是全部导入，我想只导入匹配的数据，我认为它比导入所有数据更容易，更快。

我需要搜索CSV文件的“Post Code District”列，如果它包含LS1或LS2或LS10，则将匹配的数据导入到SQL的tabel中？

Answer 1

误读。您认为针对数据库表过滤文本文件比将整个文件加载到数据库中要快得多。

我支持有极端情况，这可能是真的。但是，一般来说，处理这类情况最安全的方法是：

• 将文件导入临时表。
• 根据需要为登台表添加索引以提高性能。
• 运行查询以从登台表中复制所需的数据。

我可以用不同的方式来表达这一点。在您需要弄清楚如何有效地组合文件和数据库表中的信息时，您可能会经历上述过程10-50次。