使用php脚本解析dmoz rdf文件

时间:2010-03-08 08:37:27

标签: php mysql dmoz

我在

中使用了php脚本

http://sourceforge.net/projects/dmoz2mysql/files/

下载,提取,清理,解析和插入dmoz数据到mysql表中。我在处理structure.rdf时遇到没问题。但是在解析content.rdf时,插入3200000行后出现了一个突然的停顿..之后没有任何反应 - 我等了大约一个小时后不得不强制退出..我在windows命令提示符下运行这个脚本..我不知道PHP,因此我无法找到这个问题的原因..请帮助,因为我需要这个项目的dmoz数据严重..

1 个答案:

答案 0 :(得分:0)

以下是一些您可能会发现有用的问题排查提示。

SHOW TABLE STATUS LIKE `table_name`;

这将告诉您有关您正在填写的表格的信息。重要的部分是Max_data_length。检查您是否对允许存储的数据量有任何限制。这对于MyISAM表来说很常见。将它与Data_length进行比较。如果匹配,则达到限制。这可以使用MAX_ROWS进行修改。 MyISAM表的常见限制是4GB数据。如果你达到最大限度,你将需要做两件事之一。要么为表使用InnoDB引擎,要么改变你的表:

ALTER TABLE `table_name` MAX_ROWS=1000000000 AVG_ROW_LENGTH=nnn;

请务必使用此答案中列出的第一个STATUS查询中列出的Avg_row_length(或更高版本)。它将帮助您评估此数字的位置。请记住,如果您已经在数据库中有数据,这可能需要一些时间。希望它有所帮助。

快乐的编码!