无法从xpath python获取值

时间:2015-06-22 14:58:45

标签: python html xpath web-scraping html-parsing

我想从页面获取值:http://www.tabele-kalorii.pl/kalorie,Actimel-cytryna-miod-Danone.html 我可以从第一部分获得所有值,但我无法从表格“Wartoścododżywcze”获得值

我使用这个xpath:

''.join(tree2.xpath("//html/body/div[1]/div[3]/article/div[2]/div/div[4]/div[3]/div/div[1]/div[3]/table[1]/tr[3]/td[2]/span/text()"))

但我没有得到任何东西。

使用xpath这样:

''.join(tree2.xpath("//html/body/div[1]/div[3]/article/div[2]/div/div[4]/div[3]/div/div[1]/div[3]/table[1]/tr[3]/td[2]//text()"))

我得到'kcal'字样,但无法获得值'75,00'

Html片段:

<td style="font-weight:bold;"><span id="kcl715">75,00</span> kcal</td>

任何人都可以提供帮助吗?

1 个答案:

答案 0 :(得分:1)

表中的值是在浏览器 javascript的帮助下生成的。

接近它的一个选择是通过selenium自动化浏览器,例如无头PhantomJS

>>> from selenium import webdriver
>>>
>>> driver = webdriver.PhantomJS()
>>> driver.get("http://www.tabele-kalorii.pl/kalorie,Actimel-cytryna-miod-Danone.html")
>>>
>>> table = driver.find_element_by_xpath(u"//table[tbody/tr/td/h3 = 'Wartości odżywcze']")
>>> for row in table.find_elements_by_css_selector("tr.tr-gorna-kreska"):
...     cells = [td.text for td in row.find_elements_by_tag_name("td")]
...     print cells
... 
[u'Warto\u015b\u0107 energetyczna', u'75,00 kcal', u'75,00 kcal']
[u'Bia\u0142ko', u'2,70 g', u'2,70 g']
[u'W\u0119glowodany', u'11,80 g', u'11,80 g']
[u'T\u0142uszcz', u'1,50 g', u'1,50 g']