Question

我的网页结构如下：

<div class="l_post j_l_post l_post_bright "...>
    ...
    <div class="j_lzl_c_b_a core_reply_content">
       <li class="lzl_single_post j_lzl_s_p first_no_border" ...>
         <div class="lzl_cnt">
         content
         </div>
       </li>
       <li class="lzl_single_post j_lzl_s_p first_no_border" ...>
       ...
       </li>
    </div>

</div>
<div class="l_post j_l_post l_post_bright "...>
...(contain content, same as above)
</div>
...

目前，我可以像这样一步选择所有内容：

for i in driver.find_elements_by_xpath('//*[@class="lzl_cnt"]'):
    print(i.text)

但是正如您所看到的，网页由重复的块组成，其中包含我需要的内容，因此我希望将这些内容与其他重复的信息分开阻止（<div class="l_post j_l_post l_post_bright "...>...</div>），此外，我希望<li class ="lzl_single_post"...>中的这些内容分开，以便我以后更容易处理内容。我试过这个：

items = []

# get each blocks
for sel in driver.find_elements_by_xpath('//div[@class="l_post j_l_post l_post_bright  "]'):
    name = sel.find_element_by_css_selector('.d_name').text
    try: content = sel.find_element_by_css_selector('.j_d_post_content').text
    except: content = '',
    try: 
        reply = []
        # get each post within specific block
        for i in sel.find_elements_by_xpath('//*[@class="lzl_cnt"]'):
            reply.append(i.text)
    except: reply = []
    items.append({'name': name, 'content': content, 'reply': reply})

但结果显示，每次外部for循环运行时，我都会在网页上获得所有回复，而不是每个我想要的单个块的回复

有什么建议吗？

Answer 1

只需将.（上下文指针）添加到XPath

即可

sel.find_elements_by_xpath('.//*[@class="lzl_cnt"]')

请注意，//*[@class="lzl_cnt"]表示 DOM中"lzl_cnt"类名的所有节点，而.//*[@class="lzl_cnt"]表示 {{1}的后代所有节点} sel班级名称

selenium，xpath：如何选择节点中的节点？

1 个答案: