在python中的webscraping商业网站

时间:2018-01-24 00:15:29

标签: python-3.x xpath web-scraping lxml

我是化学工程专业的学生。对于一个项目,我想在python中设置一个web抓取器,它可以捕获不同产品的某些属性。例如,我想去拍摄目标并抓取材料,重量和照片等信息。到目前为止,我已经尝试使用lxml库,下面是我试图使用失败的代码。我对网页抓取本身并不感兴趣,但我可以从这些网站收集数据来执行我的计算。我还发现,我可能需要一个网络爬虫将刮刀指向我需要的网站。无论如何,你有可能指出一个可以教这些东西傻瓜的来源吗?我看过网上但到目前为止还没有真正有效。

from lxml import html 
import requests 
page = requests.get('https://www.target.com/p/delta-children-skylar-4-in-1-convertible-crib/-/A-52936884#lnk=sametab') 
tree = html.fromstring(page.content) 
data = tree.xpath('//div[@id="product-attributes"]/text()')

提前致谢!!!

0 个答案:

没有答案