解析大文件

Question

我必须解析文件

• logs（5gb）
• 错误日志（1gb）
• 导入数据文件（csv）（400mb）
• 备份数据（10gb）

等...

我的第一个想法是在php中解析这些文件，然后删除我不需要的东西并将它们保存到我的数据库中。对于导入文件，它运行正常，因为它很小

但是当我想检查备份数据时，php失败并停止（我得到不同的错误，如内存错误）

我想知道什么是解析和导入这些大文件的最佳方法，最好是，我希望有一个脚本来管理所有这些文件。是我的PHP脚本可以处理吗？或者我应该做点什么？

Answer 1

fread非常有用 http://php.net/manual/en/function.fread.php

它将逐行解析，以便一次只有一行或最多X个字节在内存中。