使用Selenium-Webdriver和Ruby解析页面时缺少一些文本

时间:2015-08-03 12:26:40

标签: ruby parsing selenium selenium-webdriver

发现了一些错误的问题,遗漏了一些解析数据。我尝试收集定位器下的所有文本,隐藏在标签内。但是当我把它收集到数组中时,我发现在相同的标签下我总是会错过相同的单词。如果我尝试在更高的DOM级别上保存文本,我会使用相同的逻辑松散相同的数据((我不能意识到发生了什么以及为什么?)((

有人可以帮助我并解释这个问题吗?我的代码已附上。

require 'selenium-webdriver'
driver = Selenium::WebDriver.for(:firefox)
driver.manage.delete_all_cookies
driver.manage.window.resize_to 1280, 800
driver.navigate.to 'https://www.upwork.com/o/profiles/browse/?q=Ruby%20Selenium'
wait = Selenium::WebDriver::Wait.new(:timeout => 10)
wait.until { driver.find_element(:css, '.oDescription.m-md-top.m-0-bottom em').displayed? }
parsed_data = []
driver.find_elements(:css, '.oDescription.m-md-top.m-0-bottom em').map { |value| parsed_data << value.text }
puts parsed_data.inspect
driver.quit

0 个答案:

没有答案