使用Scrapy解析站点地图

Question

我希望能够使用scrapy来抓取站点地图上的链接。我对这个应用程序了解不多，所以我对你能提供的任何链接/信息/文档感兴趣。

由于

Answer 1

为此目的，刚刚在Scrapy主干中添加了一个新的通用蜘蛛。它将在下一个版本（Scrapy 0.14）上提供

• 此处代码：http://snippets.scrapy.org/snippets/20/
• 此处的文档：http://readthedocs.org/docs/scrapy/en/latest/topics/spiders.html#sitemapspider

Answer 2

所有文件都在http://doc.scrapy.org/。这些教程也可以在scrapy.org上找到。

关于您的问题，请参阅此问题：how to parse a sitemap.xml file using scrapy's XmlFeedSpider?