如何将请求转移到Selenium然后再退回

时间:2018-07-29 17:45:12

标签: python loops selenium python-requests screen-scraping

我有一个运行良好的程序,其中请求通过POST获取所有信息,然后lxml将其编辑为excel。

 my_page = request('POST',url=url, data=data, headers=headers, cookies=cookies,verify=False)

我需要等待一些元素,以便它们正确(或完全)加载。因此,我想通过Selenium打开我的请求,然后设法将其移回该my_page变量并继续正常执行程序,但是我不太确定该怎么做。我敢肯定有一个简单的解决方案,无需更改太多代码。

我下载了硒要求并写道:

browser.request('POST',url=url, data=data, headers=headers, cookies=cookies,verify=False)

WebDriverWait(browser,TIMEOUT).until(expectedcondition.presence_of_all_elements_located(By.CLASS_NAME,'myclass')) 

my_page = browser.page_source

然后

parser = html.fromstring(my_page)
instead of (my_page.text)

还没有机会测试它是否有效,因为它在第一次迭代后就卡住了(此代码在循环中运行,其中selenium每次需要打开一个略有不同的url),然后有时会在WebDriverWait行。

有什么建议吗?

谢谢

0 个答案:

没有答案