获取网页的完整内容（使用Python请求）

Question

我是这个学科的新手，所以我的问题可能很愚蠢..预先对不起。 我的挑战是进行网页抓取，例如针对此页面：link (google)

我尝试使用Python在网络上抓取它， 我的问题是，一旦我使用Python request.get，似乎就无法获得页面的全部内容。我猜这是因为该页面有很多资源，而Python并没有全部获取它们。 （此外，一旦我向上滚动鼠标，Chrome上就会收到更多数据。从源代码中可以看到，没有更多数据下载显示。） 如何获得网页的全部内容？我想念什么？

谢谢

Answer 1

requests.get将使您获得页面网页，但只有页面决定赋予机器人的内容。如果您希望整页的网站像人类一样看待，则需要通过更改标题来欺骗它。如果您需要滚动或单击按钮才能查看整个网页，这是我认为您需要做的，我建议您看看selenium。