Python request.get()不会显示所有HTML

时间:2019-11-22 13:36:50

标签: python html beautifulsoup python-requests

我正在使用以下方法从Easy Allies reviews抓取一些有关个人项目的信息:

  • Python3
  • 请求
  • BS4(BeautifulSoup)

我想抓取他们浏览过的最近游戏的名称,这些名称很容易在浏览器检查工具中找到,但是在页面的源代码中不存在,而该源代码是此Python代码返回的内容:

import requests
from bs4 import BeautifulSoup

page = requests.get("http://www.easyallies.com/#!/reviews")
soup = BeautifulSoup(page.text, 'html.parser')

print(soup.prettify())

如何访问此数据?

2 个答案:

答案 0 :(得分:2)

请注意,当您打开该URL时,它将调用一个端点SD = sapply(unique(GRP),function(i)apply(LOD_ut[,GRP==i],1,sd,na.rm=T)) ,该端点将获取评论。

以此代码为例,并根据需要解析JSON结果。

rmse_func = function(x){
Metrics:::rmse(mean(x,na.rm=T),x[!is.na(x)])
}
RMSE = sapply(unique(GRP),function(i){
  apply(LOD_ut[,GRP==i],1,rmse_func)
})

答案 1 :(得分:1)

- name: Add contrib repository
  replace:
    dest: /etc/apt/sources.list
    regexp: '^(deb.+)(?<! contrib)$'
    replace: '\1 contrib'

enter image description here