脚本标签下的网页抓取

Question

我正在尝试抓取以下网站：

https://www.bundesregierung.de/breg-de/bundesregierung/staatsministerin-fuer-kultur-und-medien/aktuelles

但是我需要的信息（新闻标题和日期）在其中

<script>
var BPA = window.BPA || {};
BPA.tags = [
];
BPA.initialSearchResultsJson = {"result":{"correctionSuggestion":"","initialQuery":"","sortOptions":[{"displayName":"Neueste zuerst","value":"sortDate desc"},{"displayName":"Älteste zuerst","value":"sortDate asc"},{"displayName":"Relevanz","value":"score desc,sortDate desc"}],"count":2418,"sortOrder":"sortDate desc","page":1,"pageCount":484,"items":[{"id":"1758652","payload":" \u003cdiv class\u003d\"bpa-teaser js-teaser-module-with-link\"\u003e\n \u003cdiv class\u003d\"bpa-teaser-list-inner\"\u003e\n \u003cdiv class\u003d\"bpa-teaser-text-wrapper\"\u003e\n\n\n \u003ca href\u003d\"https://www.bundesregierung.de/breg-de/bundesregierung/staatsministerin-fuer-kultur-und-medien/aktuelles/bund-foerdert-40-national-wertvolle-kulturdenkmaeler-gruetters-kulturerbe-fuer-kuenftige-generationen-sichern--1758652\" target\u003d\"_self\" class\u003d\"bpa-link\"\n \u003e\n\u003ch2 class\u003d\"bpa-topline-title-wrapper \"\u003e\n\u003cspan class\u003d\"bpa-teaser-title\"\n\u003e\n\u003cspan class\u003d\"bpa-teaser-title-text\"\u003e\n\u003cspan class\u003d\"bpa-teaser-title-text-inner\"\u003e\nBund fördert 40 national wertvolle Kulturdenkmäler – Grütters: „Kulturerbe für künftige Generationen sichern“\n\u003c/span\u003e\n\u003c/span\u003e\n\u003c/span\u003e\n\u003c/h2\u003e \u003c/a\u003e\n\u003cdiv class\u003d\"bpa-teaser-info\"\u003e\nPressemitteilung\n\u003cspan class\u003d\"bpa-dash\"\u003e\u003cspan class\u003d\"bpa-time\"\u003e\n\u003ctime datetime\u003d\"2020-06-09T09:40:40Z\"\u003e\n9.6.2020\n\u003c/time\u003e\n\u003c/span\u003e\u003c/span\u003e \u003cp class\u003d\"bpa-short-text\" \u003eKulturstaatsministerin Monika Grütters fördert in diesem Jahr die Sanierung von 40 Denkmälern im Rahmen des Programms „National wertvolle ...\u003c/p\u003e\n\u003c/div\u003e \u003c/div\u003e\n \u003c/div\u003e\n \u003c/div\u003e\n","cssClasses":"bpa-search-result-full","theme":"white"},{"id":"1758448","payload":" \u003cdiv class\u003d\"bpa-teaser js-teaser-module-with-link\"\u003e\n \u003cdiv class\u003d\"bpa-teaser-list-inner\"\u003e\n \u003cdiv class\u003d\"bpa-teaser-text-wrapper\"\u003e\n\n\n \u003ca href\u003d\"https://www.bundesregierung.de/breg-de/bundesregierung/staatsministerin-fuer-kultur-und-medien/aktuelles/eurimages-foerdert-sechs-europaeische-koproduktionen-mit-deutscher-beteiligung-darunter-den-neuen-film-happy-holidays-von-scandar-copti-1758448\" target\u003d\"_self\" class\u003d\"bpa-link\"\n \u003e\n\u003ch2 class\u003d\"bpa-topline-title-wrapper \"\u003e\n\u003cspan class\u003d\"bpa-teaser-title\"\n\u003e\n\u003cspan class\u003d\"bpa-teaser-title-text\"\u003e\n\u003cspan class\u003d\"bpa-teaser-title-text-inner\"\u003e\nEURIMAGES fördert sechs europäische Koproduktionen mit deutscher Beteiligung, darunter den neuen Film „Happy Holidays“ von Scandar Copti\n\u003c/span\u003e\n\u003c/span\u003e\n\u003c/span\u003e\n\u003c/h2\u003e \u003c/a\u003e\n\u003cdiv class\u003d\"bpa-teaser-info\"\u003e\nPressemitteilung\n\u003cspan class\u003d\"bpa-dash\"\u003e\u003cspan class\u003d\"bpa-time\"\u003e\n\u003ctime datetime\u003d\"2020-06-08T10:45:20Z\"\u003e\n8.6.2020\n\u003c/time\u003e\n\u003c/span\u003e\u003c/span\u003e \u003cp class\u003d\"bpa-short-text\" \u003eMit rund 6,1 Millionen Euro unterstützt der europäische Filmförderfonds EURIMAGES insgesamt 28 internationale Koproduktionen, darunter 19 ...\u003c/p\u003e\n\u003c/div\u003e \u003c/div\u003e\n \u003c/div\u003e\n \u003c/div\u003e\n","cssClasses":"bpa-search-result-full","theme":"white"},{"id":"1758080","payload":" \u003cdiv class\u003d\"bpa-teaser js-teaser-module-with-link\"\u003e\n \u003cdiv class\u003d\"bpa-teaser-list-inner\"\u003e\n \u003cdiv class\u003d\"bpa-teaser-text-wrapper\"\u003e\n\n\n \u003ca href\u003d\"https://www.bundesregierung.de/breg-de/bundesregierung/staatsministerin-fuer-kultur-und-medien/aktuelles/gemeinsame-pressemitteilung-von-der-beauftragten-der-bundesregierung-fuer-kultur-und-medien-der-kultusminister-konferenz-dem-deutschen-staedtetag-dem-deutschen-staedte-und-gemeindebund-und-dem-deutschen-landkreistag-laender-bund-und-kommunale-spitzenverbaende-betonen-engagement-fuer-klimaschutz-in-der-kultur-1758080\" target\u003d\"_self\" class\u003d\"bpa-link\"\n \u003e\n\u003ch2 class\u003d\"bpa-topline-title-wrapper \"\u003e\n\u003cspan class\u003d\"bpa-teaser-title\"\n\u003e\n\u003cspan class\u003d\"bpa-teaser-title-text\"\u003e\n\u003cspan class\u003d\"bpa-teaser-title-text-inner\"\u003e\nGemeinsame Pressemitteilung von der Beauftragten der Bundesregierung für Kultur und Medien, der Kultusminister-Konferenz, dem Deutschen Städtetag, dem Deutschen Städte- und Gemeindebund und dem Deutschen Landkreistag\u003cbr/\u003e\u003cbr/\u003eLänder, Bund und kommunale Spitzenverbände betonen Engagement für Klimaschutz in der Kultur\n\u003c/span\u003e\n\u003c/span\u003e\n\u003c/span\u003e\n\u003c/h2\u003e \u003c/a\u003e\n\u003cdiv class\u003d\"bpa-teaser-info\"\u003e\nPressemitteilung\n\u003cspan class\u003d\"bpa-dash\"\u003e\u003cspan class\u003d\"bpa-time\"\u003e\n\u003ctime datetime\u003d\"2020-06-05T08:46:12Z\"\u003e\n5.6.2020\n\u003c/time\u003e\n\u003c/span\u003e\u003c/span\u003e\u003c/div\u003e \u003c/div\u003e\n \u003c/div\u003e\n \u003c/div\u003e\n","cssClasses":"bpa-search-result-full","theme":"white"},{"id":"1757804","payload":" \u003cdiv class\u003d\"bpa-teaser js-teaser-module-with-link\"\u003e\n \u003cdiv class\u003d\"bpa-teaser-list-inner\"\u003e\n \u003cdiv class\u003d\"bpa-teaser-text-wrapper\"\u003e\n\n\n \u003ca href\u003d\"https://www.bundesregierung.de/breg-de/bundesregierung/staatsministerin-fuer-kultur-und-medien/aktuelles/eine-milliarde-euro-fuer-neustart-kultur-gruetters-hilfspakete-der-regierung-stellen-die-weichen-auf-zukunft--1757804\" target\u003d\"_self\" class\u003d\"bpa-link\"\n \u003e\n\u003ch2 class\u003d\"bpa-topline-title-wrapper \"\u003e\n\u003cspan class\u003d\"bpa-teaser-title\"\n\u003e\n\u003cspan class\u003d\"bpa-teaser-title-text\"\u003e\n\u003cspan class\u003d\"bpa-teaser-title-text-inner\"\u003e\nEine Milliarde Euro für NEUSTART KULTUR\u003cbr/\u003eGrütters: „Hilfspakete der Regierung stellen die Weichen auf Zukunft“\n\u003c/span\u003e\n\u003c/span\u003e\n\u003c/span\u003e\n\u003c/h2\u003e \u003c/a\u003e\n\u003cdiv class\u003d\"bpa-teaser-info\"\u003e\nPressemitteilung\n\u003cspan class\u003d\"bpa-dash\"\u003e\u003cspan class\u003d\"bpa-time\"\u003e\n\u003ctime datetime\u003d\"2020-06-04T10:09:05Z\"\u003e\n4.6.2020\n\u003c/time\u003e\n\u003c/span\u003e\u003c/span\u003e \u003cp class\u003d\"bpa-short-text\" \u003eDer Koalitionsausschuss hat ein Rettungs- und Zukunftspaket Kultur auf den Weg gebracht.\u003c/p\u003e\n\u003c/div\u003e \u003c/div\u003e\n \u003c/div\u003e\n \u003c/div\u003e\n","cssClasses":"bpa-search-result-full","theme":"white"},{"id":"1757174","payload":" \u003cdiv class\u003d\"bpa-teaser js-teaser-module-with-link\"\u003e\n \u003cdiv class\u003d\"bpa-teaser-list-inner\"\u003e\n \u003cdiv class\u003d\"bpa-teaser-text-wrapper\"\u003e\n\n\n \u003ca href\u003d\"https://www.bundesregierung.de/breg-de/bundesregierung/staatsministerin-fuer-kultur-und-medien/aktuelles/eine-milliarde-euro-fuer-neustart-kultur-1757174\" target\u003d\"_self\" class\u003d\"bpa-link\"\n \u003e\n\u003ch2 class\u003d\"bpa-topline-title-wrapper \"\u003e\n\u003cspan class\u003d\"bpa-teaser-title\"\n\u003e\n\u003cspan class\u003d\"bpa-teaser-title-text\"\u003e\n\u003cspan class\u003d\"bpa-teaser-title-text-inner\"\u003e\nEine Milliarde Euro für NEUSTART KULTUR\n\u003c/span\u003e\n\u003c/span\u003e\n\u003c/span\u003e\n\u003c/h2\u003e \u003c/a\u003e\n\u003cdiv class\u003d\"bpa-teaser-info\"\u003e\n\u003cspan class\u003d\"bpa-dash\"\u003e\u003cspan class\u003d\"bpa-time\"\u003e\n\u003ctime datetime\u003d\"2020-06-04T10:00:00Z\"\u003e\n4.6.2020\n\u003c/time\u003e\n\u003c/span\u003e\u003c/span\u003e \u003cp class\u003d\"bpa-short-text\" \u003eDie Bundesregierung unterstützt mit einem umfangreichen Rettungs- und Zukunftsprogramm den Neustart des kulturellen Lebens in Deutschland. ...\u003c/p\u003e\n\u003c/div\u003e \u003c/div\u003e\n \u003c/div\u003e\n \u003c/div\u003e\n","cssClasses":"bpa-search-result-full","theme":"white"}]},"filters":[{"facetId":"974436:992732","facet":"facet-cms-date","displayName":"Zeitraum","type":"datefield","isInBar":false,"isSearchComponentHidden":false,"isSingleSelect":false,"items":[]},{"facet":"facet-documenttype","displayName":"Suche in","type":"documenttype","isInBar":false,"isSearchComponentHidden":false,"isSingleSelect":false,"items":[{"name":"Artikel","value":"992752:BPAArticle","displayName":"Artikel","count":742,"selected":false},{"name":"Interviews","value":"992752:BPAInterview","displayName":"Interviews","count":100,"selected":false},{"name":"Pressemitteilungen","value":"992752:BPAPressRelease","displayName":"Pressemitteilungen","count":1164,"selected":false},{"name":"Reden","value":"992752:BPASpeech","displayName":"Reden","count":412,"selected":false}]}]};
</script> 

我如何获得对BPA.initialSearchResultsJson的访问权限？

Answer 1

您可以使用json，requests和re模块将其加载到json结构中，如下所示：

import re
import json
import requests

url = (
    'https://www.bundesregierung.de/breg-de/bundesregierung/'
    'staatsministerin-fuer-kultur-und-medien/aktuelles'
)

raw_html = requests.get(url).text

target_text_re = re.compile(r'BPA.initialSearchResultsJson = (\{.+\]\});')

m = target_text_re.search(raw_html)

json_dict = json.loads(m[1])