Question

我必须遍历超过4000页：每页之后。当我们到达可用的最后一页时，没有更多的页面，所以我们已经完成并可以退出循环，例如最后。

可能没有涵盖欧洲所有国家的数据库（例如，非民主国家白俄罗斯没有公布太多信息）。因此，如果您需要OpenStreetMap拥有的更多数据，您可能需要逐个国家/地区。以下是法国的数据。法国政府创建了一个网站，显示法国所有4307家医院和诊所的名单：

http://www.ScopeSante.fr

点击“Voir la listedesétablissements”获取完整列表。乍一看关于从页面到页面的抓取问题 - 可以通过不同的方法解决：

查看似乎从零到最大值的数字 - 在两者之间我们有一堆数字可以获取站点;例如470000027

我们在页面底部没有分页：例如：

https://www.scopesante.fr#/etablissements/470000027/fiche-detaillee/" LINIQUE ESQUIROL-SAINT-HILAIRE</span></a>
https://www.scopesante.fr#/etablissements/470005406/fiche-detaillee/" CH AGEN NERAC - HOPITAL DE MONBRAN-(Modification juridique le 31 décembre 2016)</span></a>
https://www.scopesante.fr#/etablissements/470008780/fiche-detaillee/" EHPAD-USLD DE POMPEYRIE CH AGEN NERAC</span></a>
https://www.scopesante.fr#/etablissements/470000423/fiche-detaillee/" CH AGEN NERAC - HOPITAL SAINT-ESPRIT</span></a>
https://www.scopesante.fr#/etablissements/470000159/fiche-detaillee/" CLINIQUE CALABET</span></a>
https://www.scopesante.fr#/etablissements/040780405/fiche-detaillee/" CENTRE DES CARMES</span></a>
https://www.scopesante.fr#/etablissements/430000166/fiche-detaillee/" CENTRE SSR JALAVOUX</span></a>
https://www.scopesante.fr#/etablissements/050000223/fiche-detaillee/" CENTRE HOSPITALIER AIGUILLES QUEYRAS</span></a>
https://www.scopesante.fr#/etablissements/030000160/fiche-detaillee/" CENTRE HOSPITALIER SPECIALISE D'AINAY</span></a>
https://www.scopesante.fr#/etablissements/950500017/fiche-detaillee/" GHI DU VEXIN SSR SITE AINCOURT</span></a>
https://www.scopesante.fr#/etablissements/400782769/fiche-detaillee/" POLYCLINIQUE DE L'ADOUR</span></a>
https://www.scopesante.fr#/etablissements/400780367/fiche-detaillee/" CLINIQUE MEDICALE JEAN SARRAILH</span></a>

依此类推......好吧，我们可以将这个网址设置为基础 -

如果我们有一个数组，我们从中加载需要访问的网址 - 我们会遇到所有页面.. 我们有大约4400页的记录，我们必须访问。

关于循环过程：

此处页面参数后的其他信息

这意味着您可以阅读页面内容，然后将页面值更改为1，并阅读下一页....依此类推。

import csv
import requests 
from bs4 import BeautifulSoup
for i in range(4400):      # Number of pages plus one 
    url = "".format(i)
    r = requests.get(url)
    soup = BeautifulSoup(r.content)

    # Your code for each individual page here 

  html = urlopen(url)
    soup = BeautifulSoup(html,"html.parser")
    Title = soup.find_all ,,,, 
    for i in Title:
        try:

            print(text)
f.close()

见下文：

问题是 - 解析器进程是否正常 - 从零到100 000的转换？

<ul><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/800002503/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">ABBEVILLE</span><span class="etablissement">SA CLINIQUE SAINTE ISABELLE</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/800006231/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">ABBEVILLE</span><span class="etablissement">SSR CH ABBEVILLE</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/800015539/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">ABBEVILLE</span><span class="etablissement">HAD CH ABBEVILLE</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/800000143/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">ABBEVILLE</span><span class="etablissement">CH ABBEVILLE</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/570000380/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">ABRESCHVILLER</span><span class="etablissement">ABRESCHVILLER - CRS SAINT LUC</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/340017292/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">AGDE</span><span class="etablissement">UADSA ST GUILHEM PAYS D'AGDE</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">
                <div class="field-content">
                  <a href="https://www.scopesante.fr#/etablissements/340780436/fiche-detaillee/" onclick="javascript:_paq.push(['trackEvent', 'Accès fiche établissement depuis …', 'Toutes les fiches établissements']);"><span class="ville">AGDE</span><span class="etablissement">HOPITAL ST LOUP HBT AGDE</span></a>
                  <div class="clear_left"></div>
                </div>
              </div>
            </li><li class="views-row">
              <div class="views-field views-field-title">

问题是 - 解析器进程是否正常 - 从零到100 000的转换？

Answer 1

当我访问所有机构网页列表时，我看到该网站首先使用自己的私有API来获取机构列表。退房：

https://ws.scopesante.fr/v4/carte-etablissements

私有API以JSON格式返回完整的机构列表及其“id”号码。所以，你去吧。这个是的完整列表。您可以使用每个组织的“id”编号查找每个组织的“详细信息”页面。因此，使用到“详细信息”页面的路线：

https://www.scopesante.fr#/etablissements/PUT_ID_NUMBER_HERE/fiche-detaillee/

你可以抓住所有“id”号码，把它们放在Python列表中，然后迭代那个列表（反对尝试按上面所述计算）。< / p>

注意：抓取此数据时请尊重。在短时间内向服务器发出~4000个请求会增加负载。此外，如果此站点具有防僵尸机制，您可能会被阻止。

你是对的。大约有4400家企业;具体来说，我看到3869家场所。但是，您可以访问每个组织的“id”号码。因此，当您搜索网站时，使用这些“id”数字会更有效。

编辑：我更多地使用API，发现您可以通过调用API直接获取特定企业的详细信息。参见：

https://ws.scopesante.fr/v4/fiche-identite/010000024

返回特定机构的详细信息。只需将URL末尾的数字替换为您正在查找的企业的“id”号。

使用API通常比直接抓取页面更有效。与抓取网页相比，使用API在服务器上的负载也更少。 API直接为您提供数据。网页为您提供了数据和一些您不需要查看的资源（CSS，JS等）。

如何循环和使用python和beautifulsoup4

1 个答案: