如何刮内容？

Question

我创建了以下代码来获取内容：

import requests

r = requests.post(url='https://icecat.us/index.php/product/offers')

print r
print r.content

请求返回HTTP响应代码200确定。 但是r.content是空的，因此没有检索到任何内容，即使Developer工具中的响应肯定不是空的。

我错过了什么？为什么没有正确检索内容？

感谢您的建议！

Answer 1

request.get来电需要params，而不是data。 data适用于request.post。

import requests

payload = {
    'num' : '37963146',
    'lang' : 'us',
    'offers_country' : '0'
}

r = requests.get(
    url='https://icecat.us/index.php/product/offers',
    params=payload,
    headers={
        'X-Requested-With': 'XMLHttpRequest'
    }
)

print r
print r.content

BTW，我在Upwork上看到了这个。