我正在尝试抓取this page。
我希望所有描述包含“人口”的链接，或者至少页面上的每个链接。
这是我当前的脚本：
output = ""
base_url = argv[1]
response = requests.get(base_url)
soup = bs4.BeautifulSoup(response.text, 'html.parser')
em_box = soup.find_all("", href=True)
for link in em_box:
if len(argv) > 2:
if re.match(argv[2].replace("?", "\xe9"),link.text):
output += urljoin(base_url, link.get("href")) + "\n"
else:
output += urljoin(base_url, link.get("href")) + "\n"
其中argv[1]是我的网址，argv[2]是我要查找的文本-Populations
到目前为止，它适用于基本的http页面。对于这个，似乎漂亮的汤无法从URL中看到结果链接。例如，我看不到我的“汤”：https://www.insee.fr/fr/statistiques/4265511
如果您能为我指出一些处理此类“动态”页面的提示。
答案 0 :(得分：2)
该页面使用JavaScript加载数据。您可以使用requests模块进行模拟。
例如：
import json
import requests
import urllib.parse
url = 'https://www.insee.fr/fr/statistiques?q=population+l%C3%A9gale&taille=10000&debut=00&theme=1&categorie=5'
url2 = 'https://www.insee.fr/fr/solr/consultation?q={q}'
document_url = 'https://www.insee.fr/fr/statistiques/{id}'
params = urllib.parse.parse_qs(urllib.parse.urlsplit(url).query)
json_payload = {"q": params['q'][0],"start":"00","sortFields":[{"field":"score","order":"desc"}],"filters":[{"field":"themeId","tag":"tagThemeId","values":params['theme']},{"field":"categorieId","tag":"tagCategorieId","values":params['categorie']},{"field":"rubrique","tag":"tagRubrique","values":["statistiques"]},{"field":"diffusion","values":[True]}],"rows":"10000","facetsQuery":[]}
data = requests.post(url2.format(q=params['q'][0]), json=json_payload).json()
# uncomment this to print all data:
# print(json.dumps(data, indent=4))
for document in data['documents']:
if 'populations' in document['titre'].lower():
print('{:<60} {}'.format(document['titre'], document_url.format(id=document['id'])))
打印：
Populations légales 2017 https://www.insee.fr/fr/statistiques/4265511
Populations légales des départements en 2017 https://www.insee.fr/fr/statistiques/4265390
Populations légales des régions en 2017 https://www.insee.fr/fr/statistiques/4265384
Populations légales de Nouvelle-Calédonie en 2019 https://www.insee.fr/fr/statistiques/2122859
Populations légales 2015 https://www.insee.fr/fr/statistiques/3292701
Populations légales 2014 https://www.insee.fr/fr/statistiques/2525768
Populations légales 2016 https://www.insee.fr/fr/statistiques/3677855
Populations légales 2008 https://www.insee.fr/fr/statistiques/2127739
Populations légales des collectivités d'outre-mer en 2017 https://www.insee.fr/fr/statistiques/4265419
Téléchargement des fichiers par départements des populations légales en 2017 https://www.insee.fr/fr/statistiques/4265439
Téléchargement du fichier d'ensemble des populations légales en 2017 https://www.insee.fr/fr/statistiques/4265429
Populations légales de Mayotte en 2017 https://www.insee.fr/fr/statistiques/2120838
Les populations légales de Wallis et Futuna en 2018 https://www.insee.fr/fr/statistiques/2121453
Populations légales 2013 https://www.insee.fr/fr/statistiques/2119504
Téléchargement des fichiers des populations légales des collectivités d'outre-mer en 2017 https://www.insee.fr/fr/statistiques/4265451
Populations légales des circonscriptions législatives pour les élections de 2017 https://www.insee.fr/fr/statistiques/2508230
Populations légales 2012 https://www.insee.fr/fr/statistiques/2119686
Populations légales 2011 https://www.insee.fr/fr/statistiques/2119751
Les populations légales de Polynésie française en 2017 https://www.insee.fr/fr/statistiques/2122700
Populations légales 2010 https://www.insee.fr/fr/statistiques/2128804
Populations légales 2009 https://www.insee.fr/fr/statistiques/2119804
Populations légales 2007 https://www.insee.fr/fr/statistiques/2119897
Populations légales 2006 https://www.insee.fr/fr/statistiques/2119923
Populations légales des collectivités d'outre-mer en 2015 https://www.insee.fr/fr/statistiques/3545753
Téléchargement du fichier d'ensemble des populations légales en 2015 https://www.insee.fr/fr/statistiques/3545833
Téléchargement des fichiers des populations légales des collectivités d'outre-mer en 2015 https://www.insee.fr/fr/statistiques/3545835
Populations légales des villages des îles Wallis et Futuna en 2008 https://www.insee.fr/fr/statistiques/2121413
Populations légales des districts des îles Wallis et Futuna en 2008 https://www.insee.fr/fr/statistiques/2121094
Populations communales 2006 https://www.insee.fr/fr/statistiques/2130410
Populations communales 2006 en ZUS https://www.insee.fr/fr/statistiques/2130333
Populations communales 2006 en ZFU https://www.insee.fr/fr/statistiques/2130338