如何处理网页抓取python中的“更多”按钮

时间:2018-07-10 03:01:28

标签: python button tripadvisor

我想基于给定的URL从tripadvisor.com中提取所有评论。当出现“更多”按钮时,如何提取完整评论?请任何人帮助。
我尝试使用find_element_by_xpath('// ...'),但是路径具有特定URL的ID,因此它不适用于许多其他链接。然后,我尝试使用find_element_by_class_name('taLnk'),但它没有给我完整的评论。

@artists = Artist.all
@ordering = Array.new
@artists.find_in_batches do |batch|
    batch.each do |a|
        @ordering << {"artist" => a, "diff" => Update.pop_diff(a) } 
    end
end

@ordering = @ordering.sort_by { |k| -(k["diff"])}

没有错误,但是它提供的输出包括“更多”字词,而不是全文。 谢谢

0 个答案:

没有答案