我正在研究几百页的亚马逊搜索结果进行一些数据分析,并使用hap来解析结果:
hap.DocumentNode.SelectNodes("//ul[@id='s-results-list-atf']/li")
这只返回结果列表的前四个li,尽管还有更多。我检查过并仔细检查过,我确信这是对的 - 我做错了什么?我不明白为什么结果仅限于4.典型的页面内容可能是:https://www.amazon.com/s/?url=search-alias%3Daps&field-keywords=100+percent+barstow
使用其他搜索结果页面会出现同样的问题,并且不会在页面上显示结果,但总是显着低于那里的结果。
答案 0 :(得分:1)
尝试一下:
hap.DocumentNode.SelectNodes("//div[contains(@id,'tfResults')]//li[contains(@class,'s-result-item')]");
不保证其他页面,因为我只是基于你给出的链接