使用urllib进行Webscraping

时间:2017-08-29 10:36:57

标签: python web-scraping python-3.6 urllib

我希望从CME website获取一些信息 也就是说,我希望获得10年期国债券期货的期货收益率和期货DV01。 在旧thread上找到这个小片段:

unless

它会抛出弃用警告,我不太确定如何从网站获取信息。有人可以告诉我新的语法应该是什么以及如何获取信息。感谢

1 个答案:

答案 0 :(得分:2)

完成安装selenium后运行脚本。

from selenium import webdriver ; from bs4 import BeautifulSoup

driver = webdriver.Chrome()
driver.get("http://www.cmegroup.com/tools-information/quikstrike/treasury-analytics.html")

driver.switch_to_frame(driver.find_element_by_tag_name("iframe"))
soup = BeautifulSoup(driver.page_source, 'html.parser')
driver.quit()

table = soup.select('table.grid')[0]
list_of_rows = [[t_data.text for t_data in item.select('th,td')]
                for item in table.select('tr')]

for data in list_of_rows:
    print(data)

我想,这是你所追求的[部分图片]:

enter image description here