带有代理身份验证的Selenium Webdriver无头Chrome

时间:2018-10-23 14:52:04

标签: selenium selenium-webdriver selenium-chromedriver watir google-chrome-headless

我需要在我的chrome无头实现中使用经过身份验证的代理。这些工作是在heroku dynos上执行的(如果有更好的方法直接在heroku dynos上实现代理)。

如果我遵循硒的标准代理实现,则会陷入要求用户名/密码的身份验证页面。

这就是我用watir和硒实例化无头chrome实例的方法:

def headless_browser
  options = Selenium::WebDriver::Chrome::Options.new

  # make a directory for chrome if it doesn't already exist
  chrome_dir = File.join Dir.pwd, %w(tmp chrome)
  FileUtils.mkdir_p chrome_dir
  options.add_argument "--user-data-dir=#{chrome_dir}"

  # set Random User Agent
  options.add_argument "--user-agent=#{random_user_agent}"

  # let Selenium know where to look for chrome if we have a hint from
  # heroku. chromedriver-helper & chrome seem to work out of the box on osx,
  # but not on heroku.
  if chrome_bin = ENV["GOOGLE_CHROME_BIN"]
    options.add_argument "no-sandbox"
    options.binary = chrome_bin

    # give a hint to webdriver here too
    Selenium::WebDriver::Chrome.driver_path = \
      '/app/vendor/bundle/bin/chromedriver'
  end

  options.add_argument '--allow-insecure-localhost'

  # headless!
  # keyboard entry wont work until chromedriver 2.31 is released
  options.add_argument '--window-size=1200x600'
  options.add_argument '--headless'
  options.add_argument '--disable-gpu'
  options.add_argument '--no-sandbox'

  # instantiate the browser
  browser = Watir::Browser.new :chrome, options: options

  if Rails.env.development?
    browser.goto "https://api.myip.com"
    JSON.parse(Nokogiri::HTML.parse(browser.html).css('body').text)
  end
end

有人知道如何使用watir和硒实现经过身份验证的代理用法吗?我进行了很多搜索并实施了许多不同的“解决方案”,但没有一个对我有用。

  • 试图通过硒驱动程序设置代理。如果只剩下这样,则会弹出身份验证窗口,而我无法访问它。
Selenium::WebDriver::Proxy.new(
  http: '127.0.0.1:8080',
  ssl:  '127.0.0.1:8080'
)

我还尝试了袜子格式:username:password@host:port。没用。

  • 我尝试将--proxy-server=选项设置为驱动程序。虽然它可以与普通代理url一起使用,但其行为与以上相同。

1 个答案:

答案 0 :(得分:0)

请尝试以下代码进行代理设置:

proxy_object = Selenium::WebDriver::Proxy.new(
  http: '127.0.0.1:8080',
  ssl:  '127.0.0.1:8080'
)

browser = Watir::Browser.new :chrome, options: options, proxy: proxy_object