Question

我编写简单的抓取程序来抓取＆＃34; http://fortune.com/fortune500/＆＃34;，并希望获得<option value = "...">...</option>的值，但是在使用webelement.text获取内容时标签名称（＆＃34;选项＆＃34;），不显示任何内容。我想知道为什么？谁能为我解决这个问题？

# -*- coding: utf-8 -*-

import mechanize
from bs4 import BeautifulSoup
import re
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import Select
from selenium.common.exceptions import NoSuchElementException
from selenium.common.exceptions import NoAlertPresentException
import unittest, time, re


#-----------selenium part(ignored)----------------#

browser = webdriver.Chrome() # Get local session of firefox
browser.get("http://fortune.com/fortune500/")

time.sleep(1) # Let the page load, will be added to the API

industry_button = browser.find_element_by_name('filters[Industry]')

print industry_button

count = 0;
industry_value = industry_button.find_elements_by_tag_name('option')

for number in industry_value:
    count += 1
    print number
print count

Answer 1

.text返回该元素的innerHTML，而不是值。您想获得value属性。

可能是一些事情：

element.get_attribute('value')

Answer 2

Selenium可以轻松处理select->option HTML结构 - 有Select class提供易于使用的界面。例如，.options将列出所有可用选项。对于每个选项，您都可以使用.text获取内部HTML，或.get_attribute('value')获取value属性的值。

此外，代替time.sleep()，明确等待切换按钮出现。

from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import Select


browser = webdriver.Chrome()
browser.get("http://fortune.com/fortune500/")

# toggle
toggle = WebDriverWait(browser, 10).until(EC.visibility_of_element_located((By.CLASS_NAME, "filter-toggle")))
toggle.click()

# get all options
industry_button = Select(browser.find_element_by_name("filters[Industry]"))
for option in industry_button.options:
    print option.text

打印：

Industry: Any
Advertising, marketing
Aerospace and Defense
Airlines
Apparel
Automotive Retailing, Services
Beverages
...

使用python在firefox中使用selenium的爬网网站

2 个答案: