可以自动将找到的URL添加到MySQL数据库的Web爬虫？

Question

标题几乎说明了一切，我正在追踪一个可以自动将其调查结果添加到数据库中的网络爬虫，这样的事情是存在还是我最好自己制作？

Answer 1

您可以为此付出大量服务：https://www.quora.com/What-are-the-best-web-crawling-services但是，如果您正在寻找免费服务，那么您最好自己制作服务。

如果您选择DIY路线，请查看Firebase数据库：https://firebase.google.com/docs/database/ Firebase可以轻松创建数据库，设置规则，并通过简单的Web应用程序执行CRUD操作，而无需构建自定义后端。这听起来像是你所描述的小项目的完美候选者。

此外，如果您不熟悉webcrawler，请查看Scrapy。在我使用的所有抓取库中，这个是最简单的项目之一。

Answer 2

StormCrawler有一个SQL模块，允许存储有关在表中发现的URL的信息。 Cloudsearch tutorial有点过时，但解释了如何将StormCrawler与MySQL结合使用。