我正在尝试从以下网站获取产品详细信息。 Baby Shampoo 特别是TCIN:#和产品细节。 但是当我解析它时,这些信息没有显示在页面中。
一条简单的行:
spans = soup.find_all("span", {"class" : "list-value"})
没有结果,我什么时候更加基本:
print(soup.prettify)
我看到页面打印出来但页面中没有任何细节。我没有在页面上看到任何iframe,也无法弄清楚数据没有显示的原因。
我甚至试图在请求中调整我的标题:
headers = { 'User-Agent': 'Mozilla/5.0 (Linux; <Android Version>; <Build Tag etc.>) AppleWebKit/<WebKit Rev> (KHTML, like Gecko) Chrome/<Chrome Rev> Mobile Safari/<WebKit Rev>'}
还有:
headers = { 'User-Agent': 'Mozilla/5.0'}
但这些都没有改变结果。任何可能发生的想法,以及这些数据的位置?
谢谢,
麦克
答案 0 :(得分:0)
如果您通过Chrome开发者选项或Firefox Firebug查看了所有网络请求,您可以看到所有的http get和post请求,然后您必须找出哪个包含所需信息。在浏览器中发出请求之前,请确保已启用“网络”工具栏并选中“保留日志”。在您的情况下,GET请求获取信息 - http://tws.target.com/productservice/services/item_service/v1/by_itemid?id=13197674&callback=browseCallback