我有一个运行良好的程序,其中请求通过POST获取所有信息,然后lxml将其编辑为excel。
my_page = request('POST',url=url, data=data, headers=headers, cookies=cookies,verify=False)
我需要等待一些元素,以便它们正确(或完全)加载。因此,我想通过Selenium打开我的请求,然后设法将其移回该my_page变量并继续正常执行程序,但是我不太确定该怎么做。我敢肯定有一个简单的解决方案,无需更改太多代码。
我下载了硒要求并写道:
browser.request('POST',url=url, data=data, headers=headers, cookies=cookies,verify=False)
WebDriverWait(browser,TIMEOUT).until(expectedcondition.presence_of_all_elements_located(By.CLASS_NAME,'myclass'))
my_page = browser.page_source
然后
parser = html.fromstring(my_page)
instead of (my_page.text)
还没有机会测试它是否有效,因为它在第一次迭代后就卡住了(此代码在循环中运行,其中selenium每次需要打开一个略有不同的url),然后有时会在WebDriverWait行。
有什么建议吗?
谢谢