无法从网页上获取少量项目

时间:2017-12-18 18:23:28

标签: python python-3.x selenium selenium-webdriver web-scraping

我在python中编写了一个与selenium结合使用的脚本来解析网页中的一些项目。无论如何我无法让它工作。我所追求的项目(可能)在iframe之内。我试图切换它,但这没有任何影响。除了TimeoutException我遇到试图切换iframe的行时,我仍然没有得到任何结果。我怎样才能让它运转起来。提前致谢:

以下是网页链接:URL

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

url = "replace_with_above_url"

driver = webdriver.Chrome()
driver.get(url)
wait = WebDriverWait(driver, 10)

wait.until(EC.frame_to_be_available_and_switch_to_it((By.ID, "tradingview_fe623")))

for item in wait.until(EC.visibility_of_all_elements_located((By.CSS_SELECTOR, ".quick .apply-common-tooltip"))):
    print(item.text)

driver.quit()

我所追求的项目所在的元素:

<div class="quick">
    <span class="apply-common-tooltip">5</span>
    <span class="apply-common-tooltip">1h</span>
    <span class="apply-common-tooltip selected">1D</span>
    <span class="apply-common-tooltip">1M</span>
    <span class="apply-common-tooltip">1D</span>
</div>

这是我期望的输出(当我尝试使用css选择器时它在本地工作):

5
1h
1D
1M
1D

这就是它在网络上的样子:

enter image description here

1 个答案:

答案 0 :(得分:4)

位于2个嵌套iframe内的必需节点,因此您需要逐个切换到它们。请注意,第二个id / name动态生成。只是尝试替换

wait.until(EC.frame_to_be_available_and_switch_to_it((By.ID, "tradingview_fe623")))

wait.until(EC.frame_to_be_available_and_switch_to_it((By.CSS_SELECTOR, ".abs")))
wait.until(EC.frame_to_be_available_and_switch_to_it((By.CSS_SELECTOR, "iframe[id^='tradingview_']")))