web在Python中抓取搜索结果

时间:2016-10-28 03:37:34

标签: python web-scraping

我对使用Python进行网络报废非常陌生。在我试图废弃的网页中,我可以在文本框中输入字符串'ABC',然后单击搜索。这给了我'ABC'的详细信息,但是在同一个网址下。网址没有变化。我想废弃结果详细信息。 我一直工作到“搜索”点击。但我不知道如何捕获搜索结果(搜索字符串'ABC'的详细信息)。请建议我如何实现它。

from selenium import webdriver
import webbrowser

new = 2 # open in a new tab, if possible
path_to_chromedriver = 'C:/Tech-stuffs/chromedriver/chromedriver.exe' # change path as needed
browser = webdriver.Chrome(executable_path = path_to_chromedriver)
url = 'https://www.federalreserve.gov/apps/mdrm/data-dictionary'
browser.get(url)

browser.find_element_by_xpath('//*[@id="form0"]/table/tbody/tr[2]/td/label[2]').click()
browser.find_element_by_xpath("//select[@id='SelectedReportForm']/option[@value='1']").click()
browser.find_element_by_xpath('//*[@id="Search"]').click()

1 个答案:

答案 0 :(得分:-1)

使用find_elements_by_xpath()找到需要所有搜索结果的xpath。然后使用for循环遍历它们并打印每个结果的文本。这至少应该得到你想要的东西。

results = browser.find_elements_by_xpath('//table//tr')
for result in results:
    print "%s\n" % result.text
相关问题