来自动态加载网页的数据

时间:2014-07-28 06:59:46

标签: javascript selenium

我正在尝试从以下网站获取数据:

http://www.mcxindia.com/SitePages/RealTimeData.aspx

但源文件只有JS代码,我需要财务数据,而我正在愚弄selenium来获取它们。但是我仍然无法在selenium中找到类名,但是当我在做“Inspect Element”时会出现类名。以下是代码:

 from selenium.webdriver.support.ui import WebDriverWait
 from selenium.webdriver.support import expected_conditions as EC
 from selenium.webdriver.common.by import By
 from selenium import webdriver

 # Start the WebDriver and load the page
 wd = webdriver.Firefox()
 wd.get("http://www.mcxindia.com/SitePages/RealTimeData.aspx")

 # Wait for the dynamically loaded elements to show up
 WebDriverWait(wd, 30).until(
 EC.visibility_of_element_located((By.CLASS_NAME, "tablerow")))

 # And grab the page HTML source
 html_page = wd.page_source
 print html_page
 wd.quit()

非常感谢帮助!

1 个答案:

答案 0 :(得分:1)

该表位于iframe内。查看有关Selenium语言绑定的文档,了解如何切换到新框架。

在Java中,例如:

driver.switchTo().frame("name or ID");

您需要浏览页面上的DOM以获取iframe根目录所需的定位器,但这并不困难。

此外,请注意......如果您在完成iframe中的任何步骤后将执行任何其他操作,则需要先切换回主页,然后才能继续操作。