Question

我需要滚动一个网页（例如twitter），对网站上出现的新元素进行网络抓取。我尝试使用python 3.x，selenium和PhantomJS进行此操作。这是我的代码

import time
from selenium import webdriver
from bs4 import BeautifulSoup

user = 'ciroylospersas'
# Start web browser
#browser = webdriver.Firefox()
browser = webdriver.PhantomJS()
browser.set_window_size(1024, 768)
browser.get("https://twitter.com/")

# Fill username in login
element = browser.find_element_by_id("signin-email")
element.clear()
element.send_keys('your twitter user')
# Fill password in login
element = browser.find_element_by_id("signin-password")
element.clear()
element.send_keys('your twitter pass')

browser.save_screenshot('screen.png') # save a screenshot to disk

# Summit the login
element.submit()
time.sleep(5

browser.save_screenshot('screen1.png') # save a screenshot to disk
# Move to the following url
browser.get("https://twitter.com/" + user + "/following")
browser.save_screenshot('screen2.png') # save a screenshot to disk

scroll_script = "var h = document.body.scrollHeight; window.scrollTo(0, h); return h;"
newHeight = browser.execute_script(scroll_script)
print(newHeight)
browser.save_screenshot('screen3.png') # save a screenshot to disk

问题是我无法滚动到底部。 screen2.png和screen3.png是相同的。但是，如果我将webdriver从PhantomJS更改为Firefox，则相同的代码可以正常工作。为什么？

Answer 1

当我试图解决类似的问题时，我能够在幻像中使用它：

check_height = driver.execute_script("return document.body.scrollHeight;")
while True:
    browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(5)
    height = driver.execute_script("return document.body.scrollHeight;")
    if height == check_height:
        break
    check_height = height

它将滚动到当前＆＃34;底部＆＃34;，等待，看看页面是否加载更多，如果不加载则保释（假设在高度匹配时所有内容都已加载。）

在我的原始代码中，我有一个＆＃34; max＆＃34;价值我和匹配的高度一起检查，因为我只对前10个左右的页面＆＃34;感兴趣。如果还有更多，我希望它停止加载并跳过它们。

此外，这是我用作example

的答案

使用phatomJS和selenium滚动网站

1 个答案: