移动网站没有提供正确的数据 - 美丽的汤

时间:2015-06-14 01:37:33

标签: beautifulsoup

我正在尝试从以下网站获取产品详细信息。 Baby Shampoo 特别是TCIN:#和产品细节。 但是当我解析它时,这些信息没有显示在页面中。

一条简单的行:

spans = soup.find_all("span", {"class" : "list-value"})

没有结果,我什么时候更加基本:

print(soup.prettify)

我看到页面打印出来但页面中没有任何细节。我没有在页面上看到任何iframe,也无法弄清楚数据没有显示的原因。

我甚至试图在请求中调整我的标题:

headers = { 'User-Agent': 'Mozilla/5.0 (Linux; <Android Version>; <Build Tag etc.>) AppleWebKit/<WebKit Rev> (KHTML, like Gecko) Chrome/<Chrome Rev> Mobile Safari/<WebKit Rev>'}

还有:

headers = { 'User-Agent': 'Mozilla/5.0'}

但这些都没有改变结果。任何可能发生的想法,以及这些数据的位置?

谢谢,

麦克

1 个答案:

答案 0 :(得分:0)

如果您通过Chrome开发者选项或Firefox Firebug查看了所有网络请求,您可以看到所有的http get和post请求,然后您必须找出哪个包含所需信息。在浏览器中发出请求之前,请确保已启用“网络”工具栏并选中“保留日志”。在您的情况下,GET请求获取信息 - http://tws.target.com/productservice/services/item_service/v1/by_itemid?id=13197674&callback=browseCallback