在Python / Selenium中，如何抓取整个YouTube评论？

Question

我想通过使用与YouTube评论和国家/地区的相关性进行分析 Python /硒

如果YouTube的电影中包含过多评论，我们将滚动chrome浏览下一个评论。因此，我停止了3秒，直到加载评论。

last_page_height = driver.execute_script("return document.documentElement.scrollHeight")

while True:
    driver.execute_script("window.scrollTo(0, document.documentElement.scrollHeight);")
    time.sleep(3.0)
    new_page_height = driver.execute_script("return document.documentElement.scrollHeight")
    if new_page_height == last_page_height:
        break
    last_page_height = new_page_height

html_source = driver.page_source
driver.close()
soup = BeautifulSoup(html_source, 'lxml')

但是此代码不会抓取全部注释，而只能抓取大约1500条注释。

Answer 1

Youtube每个配额最多只能有1500条评论。可以通过使用Api来获得更多结果，例如：Youtube Data Api