如何使用＆＃34; infinity＆＃34;获取所有HTML结构？ HTML页面，使用python而不使用webdriver。通过＆＃34; infinity＆＃34; HTML页面我指的是在用户滚动后加载新元素的页面。
答案 0 :(得分：0)
无限滚动网站（如Twitter）有javascript代码，可以向其服务器发送请求，以便将任何需要添加到页面的内容，然后动态操作HTML以显示数据。如果您想了解更多相关信息，可以将此设置称为AJAX。
为了通过这种设置获取所有html数据，您必须找到请求将HTML数据添加到无限滚动页面的HTTP请求对象。然后，您只需使用您的程序调用此请求对象并直接获取数据。你可以在这里找到一个很好的指导：
https://blog.scrapinghub.com/2016/06/22/scrapy-tips-from-the-pros-june-2016/