Question

我发布这个以防其他人正在寻找相同的解决方案，因为我在这个废话中浪费了两天。

我有一个cron作业，每天使用一个非常大的文件更新数据库，使用以下代码：

if (($handle = fopen(dirname(__FILE__) . '/uncompressed', "r")) !== FALSE) 
{
    while (($data = fgets($handle)) !== FALSE) 
    {
        $thisline = json_decode($data, true);
        $this->regen($thisline);
    }
    fclose($handle);
}

这是一个仅用于cron作业的Codeigniter控制器。 $ this-＆gt; regen函数通过一系列不同的检查运行，并存储数据库中该行的正确信息。该文件本身是由换行符分隔的超过300MB的JSON。

问题：在整个内存耗尽之前，它只会处理大约20,000行。

Answer 1

我花了几个小时对此进行排查，并没有明显的事情。我正在使用fgets，我在正确的位置有$ query-＆gt; free_result（）。它没有帮助。然后我开始检查大约100行的循环，并观察memory_get_usage（）的输出。我最终将它缩小到Codeigniter Active Record类 - 每次调用该类都会导致内存使用量增加一小部分。

然后我在Ellislabs找到了这个帖子，我得到了答案。 CI Active Record保存查询，以便您可以在多个函数中构建查询。（我甚至不打算在默认情况下打开它是多么愚蠢。）

转到/config/database.php并添加

$db['default']['save_queries'] = FALSE;

到文件的末尾。然后确保在单个函数中使用Active Record构建和执行查询。如果只需要关闭一个案例，请使用

$this->db->save_queries = FALSE;

在构造函数中或您需要放置的任何位置。

Codeigniter处理大文件时允许的内存大小耗尽

1 个答案: