有什么方法可以使用BeautifulSoup / requests刮取搜索框，然后进行搜索和刷新？

Question

我正在尝试制作一个程序，该程序能够在大多数网站（例如YouTube，ESPN，我的大学课程时间表等）上提出搜索请求

我已经在网上寻找各种解决方案，但是许多解决方案都指向在您“获取”的网址末尾添加搜索查询，但这似乎不适用于所有网站，其中有些网站无法使用当您手动进行搜索时，会更新其网址，而其他许多网址可能会给每个网址一个唯一的“ id”。是否可以从任何网站上抓取搜索栏，然后指定搜索查询并输入？有功能吗？

Answer 1

您需要使用Selenium Instance来执行此操作。您无法使用BeautifulSoup或请求来实现它。

Answer 2

可以使用基于文本的Web浏览器并使用脚本自动进行搜索。然后，您可以下载从此浏览器获得的网站，并使用BeautifulSoup或其他工具对其进行抓取。