Question

我正在使用硒和草皮来实现TikTok爬虫

start_urls = ['https://www.tiktok.com/trending']
....
def parse(self, response):
    options = webdriver.ChromeOptions()
    from fake_useragent import UserAgent
    ua = UserAgent()
    user_agent = ua.random
    options.add_argument(f'user-agent={user_agent}')
    options.add_argument('window-size=800x841')
    driver = webdriver.Chrome(chrome_options=options)
    driver.get(response.url)

搜寻器会打开Chrome，但不会加载视频。 Image loading

使用Firefox也会发生相同的问题 No loading page using Firefox

使用Selenium的简单脚本遇到相同的问题

from selenium import webdriver
import time


driver = webdriver.Firefox()
driver.get("https://www.tiktok.com/trending")
time.sleep(10)
driver.close()

driver = webdriver.Chrome()
driver.get("https://www.tiktok.com/trending")
time.sleep(10)
driver.close()

Answer 1

您是否尝试在硒浏览器窗口中进一步导航？如果在以下站点上显示错误404 ，我有一个适用于我的解决方案：

我只是将User-Agent更改为“ Naverbot ”，这是Tik Tok的robots.txt文件“允许”的

（Robots.txt）

更改所有网站和视频后正确加载。

如果您要添加轮播，则“允许”部分下列出的其他用户代理也应该起作用。

Answer 2

您可以使用Windows IE。代替Chrome或Firefox

视频将在IE中加载，但IE显示供稿的布局与chrome和firefox有所不同。

原因，为什么您的页面未加载。

很少有高级Web应用程序检查您的浏览器历史记录，配置文件数据并进行缓存以检查用户的身份验证。您可以做的另一件事是在硒中运行默认配置文件。这会有所帮助。

硒未加载TikTok页面

2 个答案: