我在
中使用了php脚本http://sourceforge.net/projects/dmoz2mysql/files/
下载,提取,清理,解析和插入dmoz数据到mysql表中。我在处理structure.rdf时遇到没问题。但是在解析content.rdf时,插入3200000行后出现了一个突然的停顿..之后没有任何反应 - 我等了大约一个小时后不得不强制退出..我在windows命令提示符下运行这个脚本..我不知道PHP,因此我无法找到这个问题的原因..请帮助,因为我需要这个项目的dmoz数据严重..
答案 0 :(得分:0)
以下是一些您可能会发现有用的问题排查提示。
SHOW TABLE STATUS LIKE `table_name`;
这将告诉您有关您正在填写的表格的信息。重要的部分是Max_data_length。检查您是否对允许存储的数据量有任何限制。这对于MyISAM表来说很常见。将它与Data_length进行比较。如果匹配,则达到限制。这可以使用MAX_ROWS进行修改。 MyISAM表的常见限制是4GB数据。如果你达到最大限度,你将需要做两件事之一。要么为表使用InnoDB引擎,要么改变你的表:
ALTER TABLE `table_name` MAX_ROWS=1000000000 AVG_ROW_LENGTH=nnn;
请务必使用此答案中列出的第一个STATUS查询中列出的Avg_row_length(或更高版本)。它将帮助您评估此数字的位置。请记住,如果您已经在数据库中有数据,这可能需要一些时间。希望它有所帮助。
快乐的编码!