Question

我想序列化并存储一个selenium webdriver对象，然后我可以在我的代码中的其他地方使用它。我正在尝试使用泡菜来做到这一点。如果有另一种方法来保存webdriver对象的状态，那么我可以在以后再次提起它，这很棒（我不能只是重新加载网址，因为我正在查看的网站是javascript-heavy和当前页面取决于我到目前为止点击的内容。

目前，我有这样的代码。

import pickle
from selenium import webdriver

d = webdriver.PhantomJS()
d.get(url)
d.find_element_by_xpath(xpath).click()
p = pickle.dumps(d, pickle.HIGHEST_PROTOCOL)
# Stuff happens here.
new_driver = pickle.loads(p)
print new_driver.page_source.encode('utf-8', 'ignore')

当我运行时，我收到以下错误（当我打印时发生错误，而不是之前）：

    return self.driver.page_source.encode('utf-8', 'ignore')
File "/home/eric/dev/crawler-env/local/lib/python2.7/site-packages/selenium/webdriver/remote/webdriver.py", line 436, in page_source
    return self.execute(Command.GET_PAGE_SOURCE)['value']
File "/home/eric/dev/crawler-env/local/lib/python2.7/site-packages/selenium/webdriver/remote/webdriver.py", line 163, in execute
    response = self.command_executor.execute(driver_command, params)
File "/home/eric/dev/crawler-env/local/lib/python2.7/site-packages/selenium/webdriver/remote/remote_connection.py", line 349, in execute
    return self._request(url, method=command_info[0], data=data)
File "/home/eric/dev/crawler-env/local/lib/python2.7/site-packages/selenium/webdriver/remote/remote_connection.py", line 396, in _request
    response = opener.open(request)
File "/usr/lib/python2.7/urllib2.py", line 404, in open
    response = self._open(req, data)
File "/usr/lib/python2.7/urllib2.py", line 422, in _open
    '_open', req)
File "/usr/lib/python2.7/urllib2.py", line 382, in _call_chain
    result = func(*args)
File "/usr/lib/python2.7/urllib2.py", line 1214, in http_open
    return self.do_open(httplib.HTTPConnection, req)
File "/usr/lib/python2.7/urllib2.py", line 1184, in do_open
    raise URLError(err)
urllib2.URLError: <urlopen error [Errno 111] Connection refused>

是否可以序列化我的webdriver对象？如果没有，我的替代方案是什么？

更新

进一步检查后，即使我再次执行类似d.get（url）的操作而不是打印页面源，它也会给我同样的错误。当webdriver对象被pickle / unpickled时会发生什么事情？

Answer 1

我能够挑选一个selenium.webdriver.Remote对象。 dill或pickle都没有为我序列化selenium.webdriver.Chrome对象，其中python创建并运行浏览器进程。然而，如果我（1）运行独立的java selenium2 webserver，（2）在一个进程中，创建一个selenium.webdriver.Remote连接到该服务器并pickle / dill到一个文件，它们都工作，（3）在另一个进程中，反序列化Remote实例并使用它。

这导致能够关闭python进程，然后重新连接到现有的webdriver浏览器并发出新命令（可能来自不同的python脚本）。如果我关闭selenium web浏览器，则需要从头开始创建新实例。

server.py：

import pickle
import selenium.webdriver

EXECUTOR = 'http://127.0.0.1:4444/wd/hub'
FILENAME = '/tmp/pickle'

opt = selenium.webdriver.chrome.options.Options()
capabilities = opt.to_capabilities()
driver = selenium.webdriver.Remote(command_executor=EXECUTOR, desired_capabilities=capabilities)
fp = open(FILENAME, 'wb')
pickle.dump(driver, fp)

client.py：

import pickle

FILENAME = '/tmp/pickle'

driver = pickle.load(open(FILENAME, 'rb')
driver.get('http://www.google.com')
el = driver.find_element_by_id('lst-ib')
print(el)

Answer 2

据我所知，使用Protractor \ C＃架构：

基本用法可能是骗人的，这意味着在C＃中使用ChromeDriver时，你会在幕后得到一个大惊小怪的面具但是宣布并初始化webDriver会创建并启动一个服务器＆＃39; （在量角器中，它是手动完成的）。 webDriver使用了这些服务器的一些功能和状态。

我认为webDriver不是一个对象，而是一个API。这个API作为对象的表示是为了易于使用，所以我认为你要求的是不可能的。

酸洗Selenium Webdriver对象

2 个答案: