Question

我正在抓捕许多网站以获取数据。我抓取的许多网站都没有问题，但是有几个返回加密的数据。我在下面创建了一个基本演示。有没有办法解密返回的结果？

headers_Get = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    'Accept-Language': 'en-US,en;q=0.9',
    'Accept-Encoding': 'gzip, deflate, br',
    'DNT': '1',
    'Connection': 'keep-alive',
    'Upgrade-Insecure-Requests': '1'
}

q = 'www.nike.com'
s = requests.Session()
url = 'http://' + q 
r = s.get(url, headers=headers_Get)
r.text

上面的代码从Nike.Com返回预期的html。

但是，如果我们运行相同的代码并将q ='www.nike.com'替换为q ='www.vanityfair.com'，我们将收到如下代码：

\x1bX�U?�(J�\x1a��|=;�:���N�\x01��J�.��$�D[����1�\x11[T2/����rq}�\x00ʁ�\x06(��J,�ܳR�\'Gs�я�l�\n���)�Qf��\x11�\x15�\x80��\r\x1d�o �<�o�??>}�������\x07��\n�\x1dE\ti�\x19\x01D�)�z\x06\x00p�\x18�e\n(�s&��\x1c��ga$e\n�PGd\x07琚\x17I�8�ީ�A�\x1f�c^�C�zh�Ǵ�t��@�X��wbl\x18�|}[��o���g\x02;����8+��:6\x039���-\x19\x1b��Q���\t\x1aJJ\x1b�\x11��\rq\x0c\x11��p�Q\x10\x18����\x14͋��\x0bus��e3X�w�狔�\x1d��6�nwen�\x02\x08�J�O�߯ףQ�T\x0c�P����0���]]��bI��5��Em/n��������ze�n.Wx��(\x05���+}���^�.qa����E�V�e���}w}�\x16�U]/�]-�d͋$ਡ�aėup��m���o\x06'

我猜这是网站在升级不安全的请求，但是我该如何解密这些结果以接收预期的html代码（如Nike）？

注意：我得到的结果与post和get相同。

Answer 1

在没有Accept-Encoding头的情况下进行请求，这样服务器就不会压缩要发送的消息

Python抓取并读取带有请求的加密返回

1 个答案: