Question

关于这个主题有很多可以找到，但无法弄清楚这一点。我需要滚动到一个（不那么长）无限滚动页面的末尾。我有两个选项，可以使用chrome无头，但似乎没有工作无头。

我最喜欢的第一个，工作得很漂亮，在SA上找到了：

driver = webdriver.Chrome('c:/cd.exe', chrome_options=chrome_options)
driver.get('http://www.website.com')

while True:
    count = len(driver.find_elements_by_xpath('//div[@itemprop="itemListElement"]'))
    print(count)
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    try:
        WebDriverWait(driver, 50).until(EC.visibility_of_element_located((By.XPATH,
                                                                          "//div[@itemprop='itemListElement'][%s]" % str(count + 1))))
    except TimeoutException:
        break

在意识到我无法在无头模式下逃脱之后，再做第二次黑客工作：

driver = webdriver.Chrome('c:/cd.exe', chrome_options=chrome_options)
driver.get('https://www.website.com')

while True:

    count = len(driver.find_elements_by_xpath('//div[@itemprop="itemListElement"]'))
    actions = ActionChains(driver)
    actions.send_keys(Keys.PAGE_DOWN)
    actions.perform()
    actions.send_keys(Keys.PAGE_DOWN)
    actions.perform()


    # focus_element_scroll = driver.find_elements_by_xpath('//section[@class="occasion-content"]')
    # driver.find_elements_by_xpath('//div[@itemprop="itemListElement"]')[-1].send_keys(Keys.PAGE_DOWN)
    # driver.find_elements_by_xpath('//div[@itemprop="itemListElement"]')[-1].send_keys(Keys.PAGE_DOWN)
    # self.driver.find_element_by_css_selector("ul.list-with-results").send_keys(Keys.ARROW_DOWN)
    print(count)
    # driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

    try:  
        WebDriverWait(driver, 50).until(EC.visibility_of_element_located((By.XPATH,
                                                                          "//div[@itemprop='itemListElement'][%s]" % str(count + 1))))
    except TimeoutException:
        break

所以两个都在chrome中工作但不在无头模式下，我需要把它们推到一个ubuntu vps，他们需要无头，我知道xvfb选项，但我很高兴我可以删除它并使用原生chrome因为水滴没有太多的记忆。

编辑：刚试过这种方法，专注于页脚中的元素，也适用于非无头，但不是无头：

ActionChains(driver).move_to_element(focus[0]).perform()

有人采用了不同的方法吗？

修改只想知道是否可以在无头模式下使用chrome进行滚动！

Answer 1

在2天后尝试不同组合的硒，铬和chromedriver的版本找到答案我几乎放弃了，并希望使用xvfb。

已经尝试在chrome参数中最大化窗口，这没有帮助。但这次我尝试设置手动窗口大小。这有帮助。

    chrome_options.add_argument("window-size=1920,1080")

在此发布，以便下一个不会像我一样长。

Answer 2

我只是在Windows上遇到了这个问题。使用chrome 74，我通过使用以下chromeOptions解决了该问题。我的无头模式再次起作用:)感谢DebanjanB

chromeOptions.addArguments("--headless")
chromeOptions.addArguments("--no-sandbox")
chromeOptions.addArguments("--disable-dev-shm-usage")
chromeOptions.addArguments("--window-size=1920x1080")
chromeOptions.addArguments("start-maximised")

Answer 3

通过 scroll 和 {end of the page到Default Chrome Browser一个（不那么长）无限滚动 {1}} 您可以使用以下代码块：

Headless Chrome Browser

带有硒的无头镀铬，只能找到无头滚动的方法

3 个答案: