使用urllib刮取Metacritic以遵循重定向

Question

我正在研究一个Python脚本来从Metacritic中获取信息。它适用于大多数电影，但它与Metacritic重定向的电影有问题。

例如，在电影列表中，Metacritic提供的网址是“/ movie / red-riding-the-the-of-the-Lord-the-1983”，但当您点击该网址时，它会带您进入“/ movie” /红骑-三部曲”。我需要urllib来获取它最终到达的最终URL的HTML。

Answer 1

尝试使用，

import urllib.request
urllib.request.FancyURLopener().open_http("your url")

Answer 2

我最终使用了请求模块。 （http://docs.python-requests.org/en/latest/）以下是请求的代码和保存最终网址的行。

response = requests.get(url)
newUrl = response.url