我正试图抓取YT频道中所有视频的链接。我在下面写了一个剧本,但它只有前30个视频。当您向下滚动时,YouTube视频列表正在加载更多视频。如何修改下面的脚本以便我可以获取所有视频?
from bs4 import BeautifulSoup
import requests
all_videos = requests.get('https://www.youtube.com/user/unboxtherapy/videos')
soup = BeautifulSoup(all_videos.text, 'html.parser')
for link in soup.find_all('a', class_='yt-uix-sessionlink yt-uix-tile-link spf-link yt-ui-ellipsis yt-ui-ellipsis-2'):
print(link.get('href'))