我应该从Mechanise切换到Scrapy还是BeautifulSoup？

Question

我正在尝试构建一个网络抓取器来刮取Google购物结果。任何想法从哪里开始？我在使用python实现了机械化，但我发现它有一些局限性。 Scrapy或BeautifulSoup会更好吗？

Answer 1

代表OP发表。

我发现这篇文章很有帮助：

http://swizec.com/blog/scraping-with-mechanize-and-beautifulsoup/swizec/5039

我受到谷歌的限制。