我需要用Python编写的好的Web爬虫将完整的页面存储到mysql数据库中。我正在试验的小系统现在使用PHP Sphider来爬行并存储到数据库中。我需要的东西几乎与sphider一样，但是用Python编写。所以只需将数据库存储到表中，从其他脚本获取内容并完成我需要的其余工作。 Sphider很慢，想要更换它。
所以，我看看scrapy和其他一些项目，但是我的需求没有任何影响，这是我自己开始编码之前的最后一次尝试，所以如果有人知道什么可以解决我这个问题，请告诉我。
答案 0 :(得分：0)
<强>小心！
此答案专为初学者量身定制，不是最佳或最聪明。
但对你而言，我强烈推荐scrapy。 试试教程。 并记住使用Firefox + Firebug扩展程序来导航并学习内部路径， xpaths 和 html 后验解析器数据的位置。
检查类似的答案“ Going from Ruby to Python crawlers ”和“ Python read my outlook email mailbox and parse messages ”
节省您的时间并使用Firefox和FireBug扩展程序（启用inspect）