如何通过scrapy从搜索引擎填充数据

Question

我正在寻找帮助，因为我正在学习python和自我发展，我遇到了可以获取数据的scrapy，所以只是好奇知道如何通过搜索引擎完成这项工作，例如，{{3} }，我在这里如何提取数据。

Answer 1

看起来你没有尝试任何东西，但正在寻找线索。但是，互联网上有很多教程可以用Python开始拼抢。 Scrapy的良好开端可以是这个：

https://www.digitalocean.com/community/tutorials/how-to-crawl-a-web-page-with-scrapy-and-python-3

或者，由于您处于Python环境中，因此可以查看BeautifulSoup和Requests。

由于您是抓斗的初学者，请了解robots.txt文件及其必须遵守的原因。这是一个很好的阅读：

https://www.promptcloud.com/blog/how-to-read-and-respect-robots-file

在抓取时需要注意的其他一些道德规范：

https://www.scrapehero.com/how-to-prevent-getting-blacklisted-while-scraping/