Question

我为此页面（http://www.bobaedream.co.kr/cyber/CyberCar.php?gubun=I）制作了一个网页抓取工具，以收集每个网页的库存清单。首先，我的代码从操作“搜索菜单”部分的下拉菜单开始，但在迭代期间在页面加载和保持时遇到了一些问题。我想要做的是加载页面并保持该页面，直到页面的抓取操作完成。

以下是我的代码：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.common.exceptions import WebDriverException
from selenium.common.exceptions import StaleElementReferenceException
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import Select
from selenium.common.exceptions import NoSuchElementException
from urllib import parse
from time import sleep

self.link = 'http://www.bobaedream.co.kr/cyber/CyberCar.php?gubun=I'
self.driver = webdriver.PhantomJS()
self.driver.set_window_size(1920, 1080)
self.driver.get(self.link)
self.wait = WebDriverWait(self.driver, 10)

def option2_menu_loaded(inDriver):
        path = '//select[@id="level2_no"]'
        return inDriver.find_element_by_xpath(path)

self.wait.until(option2_menu_loaded)

while True:
    try:
        select_option2_values = [
            ('%s' % o.get_attribute('text'), '%s' % o.get_attribute('value'))
            for o
            in Select(self.driver.find_element_by_css_selector("#level2_no")).options
            if o.get_attribute('text') != '세부등급']
    except (StaleElementReferenceException, NoSuchElementException):
        print("=======Exception Found - Option2 Save=====")
        self.driver.refresh()
        self.driver.implicitly_wait(1.5)
        continue
    break

for option2 in select_option2_values:
    self.csv.setCarTitle(ma, mo, de, option1[0], option2[0])

    print(option2[0], option2[1])
    self.driver.implicitly_wait(0.5)

    while True:
        try:
            Select(self.driver.find_element_by_css_selector("#level2_no")).select_by_value(option2[1])

        except (StaleElementReferenceException, NoSuchElementException):
            print("=======Exception Found - Option2 Request=====")
            self.driver.refresh()
            self.driver.implicitly_wait(1.5)
            self.driver.refresh()
            continue
        break

我猜第五行之后的某些类型的“self.wait.until（EC .~）”代码“self.wait.until（option2_menu_loaded）”可能有所帮助。我尝试了很多，但找不到任何解决方案。

请帮我解决这个问题。

Answer 1

WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID,"level2_no")))

如果要在对元素执行任何操作之前等待元素存在，则可能需要

。导入在代码的开头 - from selenium.webdriver.common.by import By。

仅供参考，我注意到select标签只包含一个选项 - 세부등급。因此select_option2_values数组将为空，除非您希望将来#level2_no包含更多元素。

<select id="level2_no" name="level2_no" onmousedown="$('.maker').hide();" onchange="car_depth_step_new(this.value, 4);" style="width:112px" title="세부등급 선택">
<option value="">세부등급</option>
</select>

在使用Selenium Python加载页面后如何保存特定页面？

1 个答案: