使用HTML解析器时如何在网页上加载所有项目？

Question

我正在尝试获取某个网页上所有可购买的物品的列表。但是，该网页一次只能加载12个项目，直到用户向下滚动然后再加载12个项目为止。在C＃或Python中，是否可以使用任何开放源代码库来“查看”所有可用项目，而无需实际转到页面并向下滚动？

使用Chrome的开发人员工具，我只能在HTML窗口中“查看”这12个项目，直到我在网页上向下滚动并加载更多内容为止。

注意：我在C＃/ Python Web抓取中相对较新，所以我感谢任何深入的答案！

编辑：如果我要使用Selenium之类的软件，是否可以通过编程方式加载所有内容？如果可以，怎么办？

Answer 1

Web浏览器本身显然可以加载更多项目，而Web浏览器只是一个程序，所以，可以编写一个程序来实现它。

但是您实际上是在编写一个小型Web浏览器，这需要大量工作。

网站本身是否可以提供一次加载更多项目的方式？也就是说，某些网站在页面一角提供了链接或下拉菜单，可让您增加显示的最大项数。