我正在尝试使用RE和python从随机页面中提取所有产品。但是,我不知道为什么我没有得到任何比赛。我很肯定我的代码的re.findall部分出现问题,特别是当我添加“。*”时。
import urllib2, re
response=urllib2.urlopen('http:/ /www.tigerdirect.com/applications/Category/guidedSearch.asp?CatId=17&cm_sp=Masthead-_-Computers-_-Spot%2002')
stuff=response.read()
laptops= re.findall(r'<div class="product"> .* </div>',stuff)
for laptop in laptops:
print laptop
答案 0 :(得分:2)
.*
是一个贪婪的匹配,您应该使用.*?
这是非贪婪的版本。
以下是您尝试匹配的其中一条记录的示例
'<div class="product"><div class="productImage"><a href="../SearchTools/item-details.asp?EdpNo=4903661&Sku=T71-156409" class="itemImage" title="Lenovo Z580 15.6" Core i7 500GB HDD Notebook PC"><img src="http://images.highspeedbackbone.net/skuimages/medium/T71-156409_chiclet01xx_er.jpg" alt="It features a powerful 3rd generation Intel Core i7-3520M and a 4GB DDR3 RAM which deliver you a powerful computing performance." onerror="this.src=\'http://images.highspeedbackbone.net/SearchTools/no_image-sm.jpg\'" border="0" /></a></div><div class="productInfo"><h3 class="itemName"><a href="../SearchTools/item-details.asp?EdpNo=4903661&Sku=T71-156409" title="Lenovo Z580 15.6" Core i7 500GB HDD Notebook PC">Lenovo Z580 15.6" Core i7 500GB HDD Notebook PC</a></h3></div>'
看起来您需要删除.*
周围的空格
>>> response=urllib2.urlopen('http://www.tigerdirect.com/applications/Category/guidedSearch.asp?CatId=17&cm_sp=Masthead-_-Computers-_-Spot%2002')
>>> stuff=response.read()
>>> laptops= re.findall(r'<div class="product">.*?</div>',stuff)
>>> len(laptops)
16
有更好的解析HTML的方法,例如BeautifulSoup