Question

我下面的代码成功地从https://permit.pcta.org/application/提取了数据

import requests
from tabulate import tabulate
import time

'''outputs '''
PERMITS = []

'''input'''
url = 'https://permit.pcta.org/manage/ajax/onload-ajax.php'


headers = {
    'User-Agent': 'Mozilla/5.0',
    'X-Requested-With': 'XMLHttpRequest'
}

r = requests.get(url, headers=headers)
print(r.content)

但是，响应为空。我很肯定我没有更改代码中的任何内容，因此无法解释为什么网站的响应现在有所不同。

下面是一个健全性检查，是该元素的片段和来自浏览器的响应。

html element

response

Answer 1

您似乎在标头中缺少Referer，我在您的代码中添加了Referer，并且可以正常工作：

headers = {
    'User-Agent': 'Mozilla/5.0',
    'X-Requested-With': 'XMLHttpRequest',
    'Referer': 'https://permit.pcta.org/application/'
}

不确定以前为什么没有它就可以工作，可能是一个api已经更改，或者您在代码中的其他地方传递了Referer。

Python请求响应为空

1 个答案: