是否可以从网页使用请求中获取HTML文本?

时间:2019-03-18 07:55:33

标签: python python-requests python-requests-html

是否可以从网页使用请求中获取HTML文本?

import requests

headers = {
    'Accept':
    'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
    'Accept-Encoding':
    'gzip, deflate, br',
    'Accept-Language':
    'ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7,uk;q=0.6',
    'Connection':
    'keep-alive',
    'DNT':
    '1',
    'Host':
    'labor.ny.gov',
    'Upgrade-Insecure-Requests':
    '1',
    'User-Agent':
    "Mozilla/5.0 (X11; Fedora; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36",
}

params = {'warnYr': '2018'}

s = requests.Session()

s.get(
    'https://labor.ny.gov/app/warn/default.asp?warnYr=2018',
    headers=headers,
    params=params)

这是行不通的

raise ConnectionError(err, request=request)
requests.exceptions.ConnectionError: ('Connection aborted.', OSError(0, 'Error'))      

如果requests.get-也无法使用。
也许不可能从该网页获取HTML?
如果不可能,为什么?

0 个答案:

没有答案