将LARGE csv文件转换为sql然后拆分它？

Question

我有一个大的（4列乘以约900,000行）csv文件，我需要将其转换为sql，然后显然将其拆分为更易于管理的大小，以便我可以导入它。

有没有人知道要执行此操作的程序？显然我可以手动完成，但是有900,000行，它需要一段时间，我宁愿自动化。

为了清晰起见编辑：我的Windows PC上的所有数据都是.csv格式。我想拆分然后在本地转换，然后通过phpmyadmin上传到其他地方托管的在线服务器。感谢

干杯

Answer 1

我认为你正在向后推进这个问题，因为csv是一种非常简单的格式，你肯定应该以这种形式将其拆分，然后再担心SQL而不是相反。

要将其拆分为多个csv文件，只要您可以访问流式API（以避免同时读取所有900 000行），它几乎可以在任何语言中使用，您是否精通任何语言？

（C＃/ C ++ / PowerShell /其他什么？）

您在运行什么操作系统？您要定位哪些SQL DBMS？如果您使用带有SQL服务器的Windows与使用MySQL的ubuntu相比，解决方案可能会有很大差异（取决于您的DBMS，可能会内置解决方案来执行此操作）。

Answer 2

这就是我最终做的事情：

我下载了一个.csv拆分器并将我的文件拆分为9个文件，每个文件100,000行。这可能仍然有点大，但它确实有效。

分割后，我将它们全部转换为.sql并将它们导入数据库。

显然，由于文件太大，转换和导入需要很长时间，但它确实有效。

我尝试直接从.csv导入，但服务器不会接受它。不完全确定原因，但是嘿 - 我现在将数据存入我的数据库，这就是我真正想要的。

Answer 3

将来你可以使用像SQLizer这样的工具（它在2014年不存在）converts CSV to SQL - 包含大文件。