在Python中搜索第二页会显示第一页的数据

时间:2018-04-22 17:51:08

标签: python selenium beautifulsoup

在Python中搜索第二页会显示第一页的数据。 以下是代码的一部分:

browser.get("https://XXXXXXXXX/0_9b34?P=2")

innerHTML = browser.execute_script("return document.body.innerHTML")      #type = str    #returns the inner HTML as a string
Eroom_M7_htmlpage = innerHTML

soup = BeautifulSoup(Eroom_M7_htmlpage, 'html.parser')      #type = bs4.BeautifulSoup
htmlprettified = soup.prettify()                            #type = str

project_items = soup.find_all('td', attrs={'headers' : 'ID Item'}) 

如果答案是初学者友好的话我会很感激,因为我只是一个3个月的Python自学者。 我真的需要帮助才能完成我的项目:( ps:我看过两篇关于此的文章,但没有帮助/理解。

1 个答案:

答案 0 :(得分:0)

innerHTML = browser.execute_script("return document.body.innerHTML")      #type = str    #returns the inner HTML as a string
Eroom_M7_htmlpage = innerHTML

您应该返回page_source而不是javascript响应

.page_source是您要使用的方法。

因此,执行您想要的任何JavaScript,然后捕获HTML

Eroom_M7_htmlpage = browser.page_source

而不是innerhtml docs ---> HERE

Selenium用法的基本示例。

from selenium import webdriver
import time

options = webdriver.ChromeOptions()
options.add_argument('--ignore-certificate-errors')
options.add_argument("--test-type")
options.binary_location = "/usr/bin/chromium"
driver = webdriver.Chrome(chrome_options=options)
driver.get('https://python.org')

html = driver.page_source
print(html)
  

它将输出存储在变量中的网页源   HTML