到目前为止,每次我完成数据加载,它几乎总是在企业级硬件上,所以我想我从未实现过340万条记录。现在问题......
我在Windows 7,64位,4 GB RAM计算机上有一个本地MySQL服务器。我正在通过标准'导入表格'导入csv。随开发人员包一起提供的功能。
我的数据大约有3,422,000行和18列。 3 double和rest类型的列都是文本。 cvs文件的大小约为500 MB
数据源(CSV)和目的地(MySQL)都在同一台机器上,所以我猜没有网络瓶颈。
加载200,000条记录花了将近7个小时。按此速度,我可能需要4天才能加载整个数据。鉴于MySQL的普及,我认为必须有一种更好的方法来加快数据加载。
我只有CSV格式的数据,我能想到的基本方法是将其分成不同的块并尝试加载它。
您能否建议我可以采取哪些优化来加快速度?