Python通过点击以编程方式打开链接？

Question

我正在尝试解析整个网站

  

目标链接：http://targetsite.com

有很多子链接，我想解析它的所有子链接。

  

目标网页内的链接： -

     

http://targetsite.com/childpage/1

     

http://targetsite.com/childpage/2

     

http://targetsite.com/childpage/3

我遇到的问题是，如果我直接打开这些链接，例如 -

  

http://targetsite.com/childpage/1

使用 Curl 或 Python urllib2 或 Python Selenium 。

然后该网站将我重定向到CAPTCHA页面以防止自动恶意程序解析该页面。

但是，如果我点击它打开该链接，然后打开它，而不会重定向到CAPTCHA页面。

  

打开http://targetsite.com/childpage/1

     

点击http://targetsite.com主页上的此链接。

然后显示该页面。

1. 我想知道网站是如何跟踪链接是否已经存在 直接打开或通过点击操作。
2. 建议一种合适的方式在Python中自动执行此类Web Scrapping

注意： - 我也尝试过只是将链接粘贴到浏览器并直接打开它而不使用点击操作，在这种情况下它也会重定向到CAPTCHA页面。