从部分隐藏的列表中获取所有数据

时间:2018-04-07 02:16:19

标签: ruby web-scraping watir

我试图获取4,600个元素的范围

<span> 4,600 </span>

我检查了元素,发现每个元素都是一个列表类,它有一个带有title和href的子类,我想要获取问题的是:

  1. 并非所有元素都可见,您必须向下滚动API才能找到更多元素
  2. 我似乎无法成功获取单个数据
  3. puts browser.th(:class => %w("_9irns _pg23k _jpwof _gvoze")).link.hreflang

    这是我试图获取

    的代码的结构
    <ul class = 'xxx'>
    <div class = 'xxa'>
    <li class ='fff'>
    <li class ='fff'>
    <li class ='fff'>
    .
    .
    

    <li class = 'fff'><a class='xxx xxx xxx xxx'>数据我试图获取tittle和href

    更清楚我如何迭代所有类别的&#39; fff&#39;并选择一个儿童类的网址。

1 个答案:

答案 0 :(得分:1)

不要在%w中使用引号来查找类集合中的元素,并尝试使用watigiri gem并使用#text!来获取隐藏元素的文本。