实际上我对这个术语感到困惑。我正在研究scrapy,我认为它用于抓取网站并提取一些数据。
但是我想制作一些像实际用户那样的python程序。我的意思是像自动化任务一样。
E,g转到www.myblah.com,然后获得某个类别中最便宜的产品,如果小于我的预设金额,请给我发电子邮件。
现在我不知道这些类型的东西是否会被爬行或其他东西。
我可以在scrapy中执行此操作,还是可以使用其他库来执行这些任务。
答案 0 :(得分:3)
Scrapy是可用于创建机器人或爬虫(又名蜘蛛)的框架。爬虫是特定类型的机器人,但机器人不一定是爬虫。爬虫的定义是通过设计来探索页面(节点)及其嵌入的URL(边缘)的图形,尽管它们可能被限制在跟随特定的URL。
自动化任务是机器人的工作。 Scrapy是否适用于此将取决于需要哪些信息以及如何采取行动。现在很多网站都在使用javascript,所以如果机器人无法执行javascript并正确提供cookie,它可能无法获取信息给它的任务。某些Web自动化任务可能需要浏览器插件,甚至可能需要GUI自动化工具。