Question

我一直在尝试使用python从网页中抓取数据，到目前为止一直很好。但问题是页面没有立即加载所有内容，还有一个“显示更多”按钮。所以我的脚本只刮了前10个项目。我看过这个网站，我无法用网址做什么。我想我必须在服务器上发布一些内容才能找回下一个项目，但我不知道要发布什么以及如何发布。有我的代码：

res = requests.get('https://candidat.pole-emploi.fr/offres/recherche?motsCles=serveur&offresPartenaires=true&rayon=20&tri=0')

page_soup = bs4.BeautifulSoup(res.text,"html.parser")

containers = page_soup.findAll("div",{"class":"media-body"})
url = []
for container in containers:
    url.append('https://candidat.pole-emploi.fr' +container.h2.a["href"])



for i in url:
    print(i)
email_list = []

for adress in url:
    print( ' testing ', adress)
    found = False
    detail = requests.get(adress)
    apply = bs4.BeautifulSoup(detail.text,"html.parser")
    apply_mail = apply.findAll("div",{"class":"apply-block"})
    if apply_mail == []:
        email_list.append('not found')
        continue

    email_raw = apply_mail[0].text
    for i in email_raw.splitlines():
        if '@' in i:
            email_list.append(i)
            found = True
    if not found:
        email_list.append('not found')



for i in email_list:
    print(i)

Answer 1

您可以使用Beuatifulsoup或其他http请求库废弃的唯一数据是在没有Javascirpt的情况下启动时可用的数据。它与执行curl $URL和解析数据相同。

解决此问题的一种方法是使用selenium webdriver和编程与用户在浏览器上执行的操作相同的操作。

可以找到更多信息

使用“显示更多”来刮取数据

1 个答案: