如何加载HTML页面然后抓取页面

时间:2019-12-20 07:15:51

标签: python scrapy python-requests

您好,我想抓取https://www.tiktok.com/trending?lang=en,并且必须等待在其上加载视频。然后我要抓取视频数据。

page = requests.get('https://www.tiktok.com/trending?lang=en', timeout=5)
soup = bs(page.text, 'html.parser')
video_list = soup.find_all('a')
print(video_list)

主要问题是tiktok需要一些时间来加载该页面的视频列表。因此,您可以先检查网址并为我提供帮助。我用phantomjs检查了硒,但是没有用。 感谢您的帮助。

0 个答案:

没有答案