Question

我正在尝试向下滚动关于Twitter状态的评论，尝试提取包含所有评论（或至少前5页）的页面。为此使用selenium驱动程序，但滚动部分未成功完成，因此我必须手动进行提取。我正在使用python 3.6.5 Pls帮助...

例如，此推文-https://twitter.com/TeamYouTube/status/1012415985184206848 谁能帮我提供代码。

我的代码：

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.keys import Keys
import time

driver = webdriver.Chrome(executable_path="...../chromedriver")
driver.get('https://twitter.com/TeamYouTube/status/1012415985184206848')

for i in range(1,10):
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(3)

ip = input("Enter y to proceed: ")
if(ip == 'y'):
    page = driver.page_source
    filename = input('Enter file name : ')
    path = 'D:/page_'+filename+'.html'
    f = open(path,'w',encoding='utf-8')
    f.write(page)
f.close()
driver.close()

Answer 1

尝试一下：

driver.execute_script("arguments[0].scrollTo(0, document.body.scrollHeight);", driver.findElement(By.id("#permalink-overlay-dialog")));

说明：您必须滚动特定的div。为此，您必须在页面上找到此元素，然后滚动到页面末尾，仅此元素。

第二个建议是使用：

from selenium.webdriver.common.keys import Keys
# locate element and simulate 'END' button press
driver.find_element_by_id("permalink-overlay-dialog").send_keys(Keys.END)

如果其他方法不起作用，请尝试使用ActionChains进行扩展：

from selenium.webdriver.common.action_chains import ActionChains

element = driver.find_element_by_id("permalink-overlay-dialog")
action = ActionChains(driver)
action.move_to_element(element).perform()
element.send_keys(Keys.END)

如何向下滚动Twitter页面以加载下一页并提取数据

1 个答案: