scrapy和美味汤有什么区别

时间:2015-02-25 06:05:59

标签: web-scraping

我读过scrapy是一种网络爬行工具,美丽的汤是一个scrapy库。但我的朋友说,两者都不同,我们可以通过scrapy实现beautifulsoup中的相同任务。我的朋友的观点是真的吗?我也怀疑beautifulsoup是scrapy的一部分还是不同的?请告诉我

1 个答案:

答案 0 :(得分:4)

Beautiful soup是一个用于HTML解析和操作的库。它接收一个 HTML文档,并允许您通过简单的函数调用对其进行导航和操作。

Scrapy是一种管理下载的工具。它需要一个URL,在这个URL下载数据,可能会解析这个HTML(使用你想要的任何方式,你可以使用漂亮的汤),排队更多的URL下载并管理几个下载器。

Scrapy是管理许多HTML文档的下载的工具,美丽的汤是解析一个HTML文档的工具,可以用它的内容做有趣的事情。您可能会将两者结合使用来完成抓取网站的任务。