在Python中模拟页面访问

Question

从服务器的角度来看，我想在网站上自动执行以下操作：

1. 用户访问网站
2. 用户通过cookie进行了身份验证
3. 用户点击内部链接

因此，基本上，这是一个简单的bot以预定的方式浏览网站。我将如何在Python中创建可在Raspberry Pi上运行的类似代码？

Answer 1

有很多不同的方法，但是我将列出一些方法，以便您知道要搜索的内容：

1. 使用cookie和python requests库以及内部cookiejar
编写一个简单的请求
2. 使用Python + Beautiful Soup
3. 用Scrapy库编写一个搜寻器以连接到站点并跨页面收集信息（遵循其找到的链接）
4. 如果您需要运行Javascript，请考虑使用Selenium