美丽的汤对象中缺少标记

Question

我有一些页面，用urllib2打开然后通过BeautifulSoup（没有任何bs4参数）

当我在浏览器中观看页面源时，有我的目标标签 但是在bs4对象中没有这样的标记

我可以以某种方式解决这个问题吗？

Answer 1

您想要的标签可能是使用javascript动态加载的。有两种方法可以解决这些问题：

• 使用无头浏览器，如selenium，phantomjs等。
• 检查网站生成的流量并找到AJAX调用（例如使用chrome开发人员工具）。在脚本中使用AJAX调用，而不是您尝试抓取的URL。