网页抓取-来自网页的响应显示未找到页面

时间:2021-01-13 14:35:06

标签: python web-scraping beautifulsoup web-crawler

当我在 python 中收到一个链接请求时,我得到一个找不到该页面的网页 - 当我在浏览器中复制链接时,它是相同的链接,但根据我的浏览器视图修改了链接.在这种情况下,我将如何检索页面内容?

例如:

from bs4 import BeautifulSoup
import requests

link = 'https://www.wikiart.org/en/paintings-by-genre/abstract?select=featured'
page = requests.get(link)
soup = BeautifulSoup(page.text, 'html.parser')

soup 包含未找到的网页。不过链接没有错。当我使用浏览器并转到 link 时,链接变为:https://www.wikiart.org/en/paintings-by-genre/animal-painting?select=featured#!#filterName:featured,viewType:masonry 并且我可以查看内容。但是,在 Python 中,我猜链接不会像我的浏览器那样被重新路由,所以我得到了错误的页面。

作为网络开发者,我没有很多经验,但这是什么原因?是因为该网站是一个网络应用程序而不是纯 html/css 吗?

0 个答案:

没有答案