使用python进行Web抓取。从网站收集数据

时间:2018-02-17 12:46:39

标签: python selenium web-scraping

我正在从网站上抓取一些数据。我正在编写一个自动化脚本。为了转到下一页,我必须从按钮中删除此禁用的属性。我尝试了很多东西,但直到现在都没有任何帮助。

<button class="proceed" disabled="disabled" >Next</button>

代码:

binary = FirefoxBinary('/usr/lib/firefox/firefox')
driver = webdriver.Firefox(firefox_binary=binary)

driver.get("https://example.com/example/example")

my_url = Request('https://www.example.com/example/example', headers={'User-Agent': 'Mozilla/5.0'})
uClient = uReq(my_url)
page_html = uClient.read()
uClient.close()
page_soup = soup(page_html, "html.parser")

user = raw_input("enter your starting point : ")

user_box = driver.find_element_by_class_name("search")
user_box.send_keys(user)
#user_box.autocomplete = "on"
#user_box.submit()

login_button = driver.find_element_by_css_selector("button.proceed")
#login_button.submit()

#print (login_button.text)

1 个答案:

答案 0 :(得分:2)

使用 JavascriptExecutor 按钮中删除此disabled属性,如下所示:

login_button = driver.find_element_by_css_selector("button.proceed")
driver.execute_script("arguments[0].removeAttribute('disabled')", login_button)