使用搜索功能进行网页搜刮并存储返回页面的结果

Question

我正在尝试使用https://www.homecentre.com/ae/en/中的搜索选项，并为每次搜索存储在输出表中显示的产品数量

import requests
from bs4 import BeautifulSoup
import pandas as pd

r = requests.get("https://www.homecentre.com/ae/en/", params=dict(
query="baby toys",
page=2
))

text = r.text

问题在于它仅显示第一页的源代码，而不显示所搜索的页面。

我正在尝试获取下面页面的源代码，并将22种产品保存为我的输出

我不确定这是逻辑上的错误还是什么。

Answer 1

首先，该网址上没有第二页。

第二，您正在将该请求发送到错误的链接。

您需要做的是：

response = requests.get('https://www.homecentre.com/ae/en/search/', params=dict(q='baby toys'))

print(response.url)
# https://www.homecentre.com/ae/en/search/?q=baby+toys