Web爬网程序仅返回部分内容

时间:2013-09-17 19:43:17

标签: php web-crawler steam

我和我的一个朋友正在尝试将所有Steam游戏及其ID编入索引到数据库表中。

到目前为止,我们已成功将前75场比赛编入索引,从最新版本开始。但问题是,我们不知道为什么它只返回前75个,而不是全部。爬虫是用PHP编写的。

以下是来源:http://pastebin.com/cQfU38PQ标题为index.php,http://pastebin.com/RpT20R6j标题为class.php。

每次运行脚本时,运行大约需要10-20秒,然后按预期方式给出一个空白页。但是,数据库只包含75个条目。我们在脚本中没有定义它应该运行多长时间,或者它应该索引多少条目。 我还确保php脚本有足够的时间按照php.ini中的设置执行。

您可以帮助我们找出在索引75个条目后它停止的原因吗?

1 个答案:

答案 0 :(得分:2)

在您的代码第11行

$c = 3;

你只得到3页,每页25个,总共75个

您需要将此值设置为282,因为这是当前的总页数。

$c = 282;