使用Python访问LinkedIn公共页面

Question

我想访问我公开的LinkedIn页面。在我的本地计算机上，以下代码可以运行：

import requests
url = "http://de.linkedin.com/pub/ankush-shah/73/9/982"
html = requests.get(url).text
print html

它提供了我个人资料的正确html。

但是当我在Heroku服务器上执行相同的代码时，我（猜测）被重定向到某个地方并得到this html。

另外，当我在heroku服务器上尝试使用urllib2时：

import urllib2
url = "http://de.linkedin.com/pub/ankush-shah/73/9/982"
u = urllib2.urlopen(url)

这会引发urllib2.HTTPError: HTTP Error 999: Request denied

当我使用virtualenv时，我本地计算机上的所有库都与heroku服务器上安装的库完全相似。 LinkedIn阻止来自像Heroku这样的服务器的HTTP请求吗？任何帮助/建议将不胜感激。

Answer 1

如提及here，LinkedIn不允许直接访问。他们将Heroku的IP地址列入黑名单，访问数据的唯一方法是使用他们的API。