PHP-ML上的内存不足

时间:2018-02-10 20:26:45

标签: php memory machine-learning

我正在尝试使用PHP-ML实现情绪分析。我有大约15000个条目的训练数据集。我有代码工作,但是,我必须将数据集减少到100个条目才能工作。当我尝试运行完整的数据集时,我收到此错误:

Fatal error: Allowed memory size of 134217728 bytes exhausted (tried to allocate 917504 bytes) in C:\Users\<username>\Documents\Github\phpml\vendor\php-ai\php-ml\src\Phpml\FeatureExtraction\TokenCountVectorizer.php on line 95

我拥有的两个文件是index.php:

<?php 

declare(strict_types=1);
namespace PhpmlExercise;

include 'vendor/autoload.php';

include 'SentimentAnalysis.php';

use PhpmlExercise\Classification\SentimentAnalysis;
use Phpml\Dataset\CsvDataset;
use Phpml\Dataset\ArrayDataset;
use Phpml\FeatureExtraction\TokenCountVectorizer;
use Phpml\Tokenization\WordTokenizer;
use Phpml\CrossValidation\StratifiedRandomSplit;
use Phpml\FeatureExtraction\TfIdfTransformer;
use Phpml\Metric\Accuracy;
use Phpml\Classification\SVC;
use Phpml\SupportVectorMachine\Kernel;

$dataset = new CsvDataset('clean_tweets2.csv', 1, true);
$vectorizer = new TokenCountVectorizer(new WordTokenizer());
$tfIdfTransformer = new TfIdfTransformer();
$samples = [];
foreach ($dataset->getSamples() as $sample) {
    $samples[] = $sample[0];
}
$vectorizer->fit($samples);
$vectorizer->transform($samples);
$tfIdfTransformer->fit($samples);
$tfIdfTransformer->transform($samples);
$dataset = new ArrayDataset($samples, $dataset->getTargets());
$randomSplit = new StratifiedRandomSplit($dataset, 0.1);

$trainingSamples = $randomSplit->getTrainSamples();
$trainingLabels     = $randomSplit->getTrainLabels();

$testSamples = $randomSplit->getTestSamples();
$testLabels      = $randomSplit->getTestLabels();

$classifier = new SentimentAnalysis();
$classifier->train($randomSplit->getTrainSamples(), $randomSplit->getTrainLabels());
$predictedLabels = $classifier->predict($randomSplit->getTestSamples());

echo 'Accuracy: '.Accuracy::score($randomSplit->getTestLabels(), $predictedLabels);

和SentimentAnalysis.php:

<?php

namespace PhpmlExercise\Classification;
use Phpml\Classification\NaiveBayes;

class SentimentAnalysis
{
    protected $classifier;

    public function __construct()
    {
        $this->classifier = new NaiveBayes();
    }
    public function train($samples, $labels)
    {
        $this->classifier->train($samples, $labels);
    }

    public function predict($samples)
    {
        return $this->classifier->predict($samples);
    }
}

我是机器学习和php-ml的新手,所以我不确定如何推断出问题的位置,或者是否有办法解决这个问题而没有大量的内存。我能说的最多的是错误发生在索引文件第22行的TokenCountVectorizer中。有没有人知道可能导致此问题的原因之前已经遇到过这个问题?

PHP-ML的链接在这里:http://php-ml.readthedocs.io/en/latest/

谢谢

1 个答案:

答案 0 :(得分:0)

此错误来自将更多内存加载到内存中,而不是将PHP设置为在一个进程中处理的内容。还有其他原因,但是不常见。

在您的情况下,您的PHP实例似乎配置为允许使用最大 128MB 的内存。在机器学习中,这不是很多,如果您使用大型数据集,则肯定会达到该极限。

要将您允许PHP使用的内存量更改为 1GB ,您可以编辑php.ini文件并设置

memory_limit = 1024M

如果您无权访问php.ini文件,但仍拥有更改设置的权限,则可以在运行时使用

<?php
    ini_set('memory_limit', '1024M');

或者,如果您运行 Apache ,则可以尝试使用.htaccess文件指令设置内存限制

php_value memory_limit 1024M

请注意,大多数共享主机解决方案等对允许使用的内存量都有严格的限制,而且通常较低。

您可以做的其他事情

  • 如果您从文件中加载数据,请查看fgetsSplFileObject::fgets以逐行加载读取的文件,而不是一次将整个文件读取到内存中。
  • 确保您正在运行尽可能最新的PHP版本
  • 确保PHP扩展是最新的
  • 禁用您不使用的PHP扩展
  • unset完成或不需要的数据或大对象不再在内存中。请注意,PHP的垃圾收集器不一定会立即释放内存。相反,根据设计,它会在感觉到所需的CPU周期存在时或脚本将要用尽内存之前这样做,以先发生为准。
  • 您可以使用echo memory_get_usage() / 1024.0 . ' kb' . PHP_EOL;之类的东西来打印程序中给定位置的内存使用情况,以尝试分析不同部分使用了多少内存。