YouTube'加载更多'使用Python的按钮

时间:2017-06-27 15:27:56

标签: python web-scraping

我刚开始学习Python,我想知道如何处理"加载更多" youtube上的按钮。

例如: https://www.youtube.com/playlist?list=PLFgquLnL59akiZYuECrz7C6Rm_22-DDBN 此链接仅会加载播放列表中的前100个视频,我想捕获所有视频。

获取我正在使用的html源代码:

url = 'https://www.youtube.com/playlist?list=PLeI9sYpZVfZVl4B665SV5OzqJ3z4WARDr'
headers = {}
headers['User-Agent'] = "Mozilla/5.0 (X11; Linux i686) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.27 Safari/537.17"
req = urllib.request.Request(url, headers = headers)
resp = urllib.request.urlopen(req)
respData = resp.read()

目标:我只想点击“加载更多”按钮,直到它不再存在,然后阅读html代码。

感谢任何可以提供帮助的人!

0 个答案:

没有答案