Question

这是我最热门的帖子，所以Hello World！

我正在使用＆＃39;请求＆＃39;在Python3中编写一个小型webscraper。和＆＃39; lxml＆＃39;。我已经制作了一个，这是不同网站的第二个项目。

我遇到了奇怪的结果 - xpath方法返回所有标签，而不是选定的DIV。更糟糕的是，输出乘以＆＃34; offer-detail＆＃34;的出现次数。 DIV。

Xpath计数返回正确的DIV数量，我还将page.content转储到文件并手动检查，这一切都是正确的。我已经使用＆＃39; Xpath helper＆＃39;在网站上检查了xpath。适用于Chrome的插件 - screenshot

刮刀输出 - http://pastebin.com/1bEdzXdJ（长而凌乱）

但在我的第一个项目中，没有这样的事情发生，它仍然返回正确的输出。

网站地址：http://www.ibood.com/pl/pl/all-deals/

我非常感谢移动高级用户的任何帮助：）

代码：

import requests
from fake_useragent import UserAgent
from lxml import html

ua = UserAgent()
header_data = {'User-Agent': ua.chrome}

website = 'http://www.ibood.com/pl/pl/all-deals/'

page = requests.get(website, headers=header_data)

document = html.fromstring(page.content)

# //div[@class="all-offers"]/div/div[@class="offer-wrap"]
# # /div[@class="offer-detail"]

deals = document.xpath('//div[@class="offer-detail"]')

count = document.xpath('count(//div[@class="offer-detail"])')

print('count: ' + str(count))

for deal in deals:
    print(deal.xpath('//text()'))

Answer 1

print(deal.xpath('.//text()'))

//表示从根开始获取所有后代

.//表示从当前上下文节点（'deal'）获取所有后代

这将返回所有节点：

count: 4.0
['\n                                                    ', 'Przenośny głośnik Bluetooth UE MEGABOOM', '\n                            ', '\n                                ', 'Cena katalogowa ', '1.319,95 zł', 'Tylko', 'Dzisiaj', '579,95 zł', '                                ', '\n    ', '\n        ', '\n                    ', 'Przewidywany czas wysyłki dla tego produktu  to 13.01.2017', '\n            ', '\n    29,95 zł Dostawa', '                            ', '\n                            ', '\n                                ', '\n                                    ', '\n                                ', '\n                                                            ', '\n                            ', '\n                                                        ', '\n                            ', '\n                                                                    ', 'Wyprzedane!', '\n                                                            ', '\n                            ', '56%', 'zniżka', '\n                                               ']

更好的方式：

for deal in deals:
    print(deal.xpath('normalize-space(string())'))

出：

count: 4.0
Przenośny głośnik Bluetooth UE MEGABOOM Cena katalogowa 1.319,95 złTylkoDzisiaj579,95 zł Przewidywany czas wysyłki dla tego produktu to 13.01.2017 29,95 zł Dostawa Wyprzedane! 56%zniżka
Ukośnica Metabo KGS 254 M Cena katalogowa 1.639,95 złTylkoDzisiaj1.024,95 zł Przewidywany czas wysyłki dla tego produktu to 17.01.2017 39,95 zł Dostawa 11:18:18 lub do wyprzedania zapasów! Kupuję! 38%zniżka
3 pary bokserek SuperDry Cena katalogowa 179,95 złTylkoDzisiaj114,95 zł Przewidywany czas wysyłki dla tego produktu to 17.01.2017 29,95 zł Dostawa 11:18:18 lub do wyprzedania zapasów! Kupuję! 36%zniżka
2 Ładowarki akumulatorów Philips MultiLife Cena katalogowa 124,95 złTylkoDzisiaj34,95 zł Przewidywany czas wysyłki dla tego produktu to 11.01.2017 29,95 zł Dostawa 11:18:18 lub do wyprzedania zapasów! Kupuję! 72%zniżka

normalize-space函数返回带有空格的参数字符串，该空格通过剥离前导和尾随空格并用空格替换空白字符序列来标准化。

Answer 2

发布问题后我找到了解决方案：

我应该使用“.//”而不仅仅是“//”。

This answer helped

Python lxml xpath - 返回所有标签而不是选择

2 个答案: