我正在尝试从网站上抓取一些数据并将其打印到控制台。但是,我遇到了一个问题,即我要抓取的数据根据访问它的计算机的时钟而变化。现在,当我发送请求时,数据根本没有显示(尽管页面的其余部分是)。我认为问题在于python请求模块没有给页面提供时钟时间。如果我是正确的,有没有办法解决这个问题,如果没有,还有其他原因可能无法解决?
到目前为止,我的代码是否有帮助:
from bs4 import BeautifulSoup
import time
import requests
while True:
html_doc = requests.get('website removed for privacy').text
soup = BeautifulSoup(html_doc, 'html.parser')
print(soup.find(id='timeLeft').contents)
time.sleep(1)