如何在python中检查网站内容类型

时间:2019-08-27 04:38:05

标签: python web-scraping web-crawler

如何检查python中的网站内容类型

import requests
from bs4 import BeautifulSoup as bs

headers = { 'User-Agent': 'Mozilla/5.0',
            'Content-Type': '???',
            'Referer': 'https://www.manta.com/mb_43_A0_02/advertising_and_marketing/alaska?fbclid=IwAR3gfnW_bma08cITjmctgdcS5hLRau0vwl6WJHXdbwL9U3FkxIgrLkOG5rs',
            'X-Requested-With': 'XMLHttpRequest'}

如何在python中查找内容类型我想剪贴这个网站:

https://www.manta.com/mb_43_A0_02/advertising_and_marketing/alaska?fbclid=IwAR3gfnW_bma08cITjmctgdcS5hLRau0vwl6WJHXdbwL9U3FkxIgrLkOG5rs

1 个答案:

答案 0 :(得分:1)

如果您未指定该标头,则请求库将默认为发送:

  

'content-type':'text / html; charset = UTF-8'

...对于向指定的URL发出HTTP GET请求应该没问题。