可能被阻止抓取网站?

时间:2017-07-01 17:44:41

标签: python selenium screen-scraping

我正在使用selenium和Beautiful Soup在python中编写代码来抓取Upwork以获取工作列表和描述。我现在不断收到错误消息:

 "Access to this web page is denied.  Please make sure your browser 
 supports JavaScript and cookies and that you are not blocking them 
 from loading. To learn more about how Upwork uses cookies please 
 review our Cookie Policy." 

他们不希望别人刮他们的网站吗?

2 个答案:

答案 0 :(得分:0)

您可能必须这样做

  1. 清除缓存和Cookie
  2. 停用所有广告拦截器
  3. 有关详情,请查看Upwork

答案 1 :(得分:0)

Upwork还有官方API和Python lib,所以他们可能不会那么热衷于你抓网站。

您可以在此处找到文档。

https://developers.upwork.com/?lang=python#

有一个作业端点可以满足您的需求。

https://developers.upwork.com/?lang=python#jobs