所以,我正在尝试解析一个24MB和314134行的文本文件。问题是,我觉得我的脚本使用的方式太多了。
这是代码:
if(file_exists($filePath)) {
$data = file_get_contents($filePath);
$lines = explode("\n", $data);
foreach ($lines as $line) {
//Split the line.
$spllitedLine = explode(';', utf8_encode($line));
//Get the fields by their index.
$localidade = !empty($spllitedLine[3]) ? $spllitedLine[3] : '';
$codigo_postal = $spllitedLine[14] . '-' . $spllitedLine[15];
$morada = (!empty($spllitedLine[5]) ? $spllitedLine[5] : ' ') . ' ' .
(!empty($spllitedLine[6]) ? $spllitedLine[6] : ' ') . ' ' .
(!empty($spllitedLine[7]) ? $spllitedLine[7] : ' ') . ' ' .
(!empty($spllitedLine[8]) ? $spllitedLine[8] : ' ') . ' ' .
(!empty($spllitedLine[9]) ? $spllitedLine[9] : '');
//Create a new CTT location and save it to the Database.
$location = new CttLocations();
$location->address = preg_replace('/\s\s+/', ' ', $morada);
$location->location = $localidade;
$location->zipcode = $codigo_postal;
$location->save(false);
//Unset the variables to free space.
unset($location);
unset($line);
unset($morada);
}
}
目前使用的是153MB的内存,它甚至不在文件的一半中。我已经阅读过使用fopen()
fgets()
和fclose()
这是一个更好的解决方案,但我使用的内存大致与这些方法相同。我究竟做错了什么?我想通过取消变量我会释放一些急需的空间。对于像这样的操作,我认为150MB太多了。你有什么打算?
答案 0 :(得分:1)
这:
$data = file_get_contents($filePath);
重要的是大文件。
这是你逐行读取文件的方式:
$handle = fopen("inputfile.txt", "r");
if ($handle) {
while (($line = fgets($handle)) !== false) {
// process the line read.
}
fclose($handle);
} else {
// error opening the file.
}