python请求无法获取HTML

Question

我试图从韩国的网站名称dcinside获取HTML代码，我正在使用请求但无法获取HTML代码

这是我的代码

import requests
url = "http://gall.dcinside.com/board/lists/?id=bitcoins&page=1"
req = requests.get(url)
print (req)
print (req.content)

但结果是

为什么即使使用请求我也无法获取HTML代码？

Answer 1

他们很可能检测到您正在尝试动态抓取数据，而不是将任何内容作为回复。尝试假装成浏览器并传递一些User-Agent标题。

headers = {
    'User-Agent': 'My User Agent 1.0', 
    'From': 'youremail@domain.com'
}

response = requests.get(url, headers=headers)

# use authentic mozilla or chrome user-agent strings if this doesn't work

Answer 2

看看这个：

1. Python Web Crawlers and "getting" html source code

就像在上述帖子中所说的那样，您应该使用urllib2，这样您就可以轻松获取网络资源。