BS4返回HTML缺少的元素

Question

我正试图刮擦Momondo。我对可以在这里找到的价格感兴趣

 info, err := redis.String(c.Do("INFO", "persistence"))
 if err != nil {
     // handle error
 }

我正在抓取以下代码

 re := regexp.MustCompile("^loading:0$") // this can be done once and stored as a package level variable.
 if re.MatchString(info) {
       // loading is zero!
 }

响应（因此html）不包含“价格-价格”类。你能指出我的错误吗？

Answer 1

您要捕获的元素似乎是由JavaScript动态生成的。 request甚至在这种情况发生之前就获得了内容。

在这种情况下，您可以做两件事，

1. 推荐的方法是使用其他方法，例如selenium来获取页面源。

2. 在浏览器的开发人员工具中检查“网络”标签，查看数据文件是否正在下载，这是一种骇人听闻的方式，并不总是有效。