如何使用scrapy抓取google新闻页面

时间:2017-06-13 14:26:37

标签: google-api web-crawler scrapy-spider scrape

如何使用scrapy Python抓取google新闻

我抓取了谷歌新闻的内容..

如何完成任务

1 个答案:

答案 0 :(得分:-1)

根据http://news.google.com/robots.txt,不允许抓取。