美丽的汤没有找到Div

Question

我正在尝试从此页面获取正在处理的项目的产品： Belk.com

我最初尝试使用

非常具体

soup.find("ul", {"class" : "product_results"})

什么都没发生，所以我走得很宽，刚开始搜索所有的div。

contentDiv = soup.find_all("div")
for div in contentDiv:
    print(div.get("class"))

当我这样做时，我只得到了页面上半部分的Div，这让我相信我没有进入iframe，但经过仔细检查，我找不到框架。有什么想法吗？

Answer 1

这对我有用

import httplib2
from bs4 import BeautifulSoup

http = httplib2.Http()
status, response = http.request('http://www.belk.com/AST/Main/Belk_Primary/Women/Shop/Accessories.jsp')

soup = BeautifulSoup(response)

res = soup.find('ul',{"class":"product_results"})
lis = res.findAll('li')
for j in lis:
    #your code
    pass