我正在构建一个Python Web scraper(个人用途),并且在检索JSON文件时遇到了一些麻烦。我能够找到我需要的请求URL,但是当我运行我的脚本(我使用请求)时,URL会返回HTML而不是Chrome Developer Tools控制台中显示的JSON。这是我目前的剧本:
import requests
import json
url = 'https://nytimes.wd5.myworkdayjobs.com/Video?clientRequestID=1f1a6071627946499b4b09fd0f668ef0'
r = requests.get(url)
print(r.text)
对Python来说是全新的,所以非常感谢任何正确方向的推动。谢谢!
答案 0 :(得分:2)
看起来该网站会根据请求提供的接受标头返回响应。所以试试:
import requests
import json
url = 'https://nytimes.wd5.myworkdayjobs.com/Video?clientRequestID=1f1a6071627946499b4b09fd0f668ef0'
r = requests.get(url, headers={'accept': 'application/json'})
print(r.json())
您可以查看完整的api以获取进一步的参考:http://docs.python-requests.org/en/latest/api/。