diff --git a/src/deutschland/bundesanzeiger/bundesanzeiger.py b/src/deutschland/bundesanzeiger/bundesanzeiger.py index ca56f81..19fd2ef 100644 --- a/src/deutschland/bundesanzeiger/bundesanzeiger.py +++ b/src/deutschland/bundesanzeiger/bundesanzeiger.py @@ -1,6 +1,7 @@ import hashlib import json from io import BytesIO +from urllib.parse import quote_plus import dateparser import numpy as np @@ -114,7 +115,7 @@ def __find_all_entries_on_page(self, page_content: str): yield Report(date, entry_name, entry_link, company_name) - def __generate_result(self, content: str): + def __generate_result_for_page(self, content: str): """iterate trough all results and try to fetch single reports""" result = {} for element in self.__find_all_entries_on_page(content): @@ -148,6 +149,36 @@ def __generate_result(self, content: str): return result + def __get_next_page_link(self, content: str): + soup = BeautifulSoup(content, "html.parser") + active_link = soup.select_one("div.page-item a.active") + if not active_link: + return None + + active_index = None + try: + active_index = int(active_link.text.strip()) + except ValueError: + return None + + next_index = active_index + 1 + next_link = soup.select_one(f'div.page-item a[title="Zur Seite {next_index}"]') + if not next_link: + return None + + return next_link.attrs.get("href") + + def __generate_result(self, url: str, page_limit: int): + results = dict() + pages = 0 + while url is not None and pages < page_limit: + content = self.__get_response(url) + result_for_page = self.__generate_result_for_page(content.text) + results.update(**result_for_page) + url = self.__get_next_page_link(content.text) + pages += 1 + return results + def __get_response(self, url: str) -> requests.Response: """send a request to a URL and validate the response""" response = self.session.get(url) @@ -158,10 +189,12 @@ def __get_response(self, url: str) -> requests.Response: return response - def get_reports(self, company_name: str): + def get_reports(self, company_name: str, *, page_limit=1): """ fetch all reports for this company name :param company_name: + :param page_limit: Maximum number of pages to fetch (default: 1). Normally each page has 20 reports. + Pass `float('inf')` to fetch all pages (this might take a while). :return" : "Dict of all reports """ self.session.cookies["cc"] = "1628606977-805e172265bfdbde-10" @@ -190,10 +223,8 @@ def get_reports(self, company_name: str): # go to the start page response = self.__get_response("https://www.bundesanzeiger.de/pub/de/start?0") # perform the search - response = self.__get_response( - f"https://www.bundesanzeiger.de/pub/de/start?0-2.-top%7Econtent%7Epanel-left%7Ecard-form=&fulltext={company_name}&area_select=&search_button=Suchen" - ) - return self.__generate_result(response.text) + search_url = f"https://www.bundesanzeiger.de/pub/de/start?0-2.-top%7Econtent%7Epanel-left%7Ecard-form=&fulltext={quote_plus(company_name)}&area_select=&search_button=Suchen" + return self.__generate_result(search_url, page_limit) if __name__ == "__main__": diff --git a/tests/bundesanzeiger/response.html b/tests/bundesanzeiger/response.html new file mode 100644 index 0000000..428e0a7 --- /dev/null +++ b/tests/bundesanzeiger/response.html @@ -0,0 +1,2203 @@ + + + + + + + + + + + + + + + + +Suchergebnis – Bundesanzeiger + + + + + + + + + + + + + + + + + + +
+ +
+
+ +
+ +
+
+ +
+
+
+ +
+
+ + +
+
+ +
+
+

+Kontakt +

+
+
+

Wir helfen Ihnen weiter

Unsere Servicenummer: 0 800 – 1 23 43 39Mo – Fr von 8:00 bis 18:30 Uhr, kostenlos aus dem dt. Festnetz

Aus dem Ausland:+49 221 – 9 76 68-0kostenpflichtig

+

Bei Problemen finden Sie wertvolle Hinweise im Bereich Fragen & Antworten.

+
+
+
+
+

+Fragen & Antworten +

+
+
+
Was ist der Bundesanzeiger?

Der Bundesanzeiger ist die zentrale Plattform für amtliche Verkündungen und Bekanntmachungen sowie für rechtlich relevante Unternehmensnachrichten. Nähere Informationen zum geschichtlichen Hintergrund und zu den Aktivitäten des Bundesanzeigers finden Sie auf den Webseiten des Verlags unter https://www.bundesanzeiger-verlag.de/ueber-uns/.

Wo finde ich was?

Ein vollständiges Inhaltsverzeichnis des Bundesanzeigers wird Ihnen angezeigt, wenn Sie in der Fußzeile auf „Sitemap“ klicken. Alle Teile und Rubriken des Bundesanzeigers finden Sie unter „So geht’s – Inhalte“ oder über die Suchfunktion.

Wie kann ich suchen?

Wir bieten eine Volltextsuche und eine erweiterte Suche an. Sie können den gesamten Bundesanzeiger nach bestimmten Begriffen durchsuchen. Eine Volltextsuche über den Veröffentlichungsinhalt ist bei Jahresabschlüssen / Jahresfinanzberichten und Veröffentlichungen nach §§ 264 Abs. 3, 264b HGB nicht möglich. Bei der erweiterten Suche haben Sie die Möglichkeit, die Suche nach bestimmten Kriterien, wie zum Beispiel Veröffentlichungszeitraum oder Bereich, weiter einzuschränken.

Wie kann ich optimal drucken?

Stellen Sie im Druckmenü das Seitenlayout auf Querformat ein. Sie können Suchergebnisse oder Dokumente über Ihren Browser drucken. Es steht meist eine Druckversion zur Verfügung.

Warum kann ich kein Lesezeichen/Bookmark setzen?

Wenn Sie auf unseren Seiten suchen, bewegen Sie sich aus Sicherheitsgründen in einer so genannten „Session“. Diese ist 30 Minuten gültig, wenn Sie keine weiteren Eingaben tätigen. Dies gilt auch für ein Lesezeichen, das Sie auf eine gefundene Veröffentlichung setzen. Es wird nach 30 Minuten ungültig.

+

Alle Fragen und Antworten

+

Keine Antwort gefunden?

Unsere Servicenummer: 0 800 – 1 23 43 39 Mo – Fr von 8:00 bis 18:30 Uhr, kostenlos aus dem dt. Festnetz

Aus dem Ausland: +49 221 – 9 76 68-0 kostenpflichtig

+
+
+ +
+
+
+ + + + +
+
+
+
+
+
+ + +

Bundesanzeiger Verlag

+ +
+
+ +
+
+ +
+ +
+ + +
+
+ + +
+
+ +
+ + +
+
+ +
+ + +
+
+ +
+
+ + +
+ + +
+
+
+
+ +
+ +

Suchergebnis

+ + + + +
+
+
+ +

+

+
+
+
+ +
+
+
+ +

Eine Volltextsuche über den Veröffentlichungsinhalt ist bei Rechnungslegungsunterlagen und Unternehmensberichten – d. h. bei Veröffentlichungen im Bereich „Rechnungslegung/Finanzberichte“ – nicht möglich.

Hinterlegte Jahresabschlussunterlagen stehen im Unternehmensregister zur Beauskunftung zur Verfügung.

+
+ +
+
+
+
+
+

Alle Bereiche

+ +
+
+
+ +
+ +
+
+
+
+ +
+
+
+
+

Veröffentlichungszeitraum

+
+
+ +
+
+
+ von +
+ +
+
+
+
+ +
+
+
+ bis +
+ +
+
+
+
+
+
+ +
+
+
+ +
+
+
+
+ +
+

Ergebnisse für Suchbegriff „Deutsches Zentrum für Luft- und Raumfahrt“

+
+ + +
+

Suchbereich:

+
+ +
+ +
+
+
+
+
    + +
+
+ + + +
+
+19 Seiten +
+
+ +
+
+
+ +
+ +
+
+ +
+
+
+
+ + +
+
+
Name  
+
Bereich
+
Information  
+
V.-Datum  
+
+ + +
+
+
+Deutsches Zentrum für Luft- und Raumfahrt e. V. + +
Bonn + +
+
+
+
+Verschiedene Bekanntmachungen +
+
+
+
+Bericht über die Bezüge des Vorstands im Geschäftsjahr 2022 + + + + + + + + + + + + + + + + + + + + + + + + + + +
+
+
+
+13.09.2023 +
+
+
+ + + + + + + +
+
+
+Raumfahrtagentur im Deutschen Zentrum für Luft- und Raumfahrt e.V. (DLR) + +
Königswinterer Straße 522-524 / 53227 Bonn + +
+
+
+
+Verschiedene Bekanntmachungen +
+
+
+
+Förderung von Vorhaben im Bereich „Entwicklung und Implementierungsvorbereitung von Copernicus Diensten für den öffentlichen Bedarf in Deutschland“ + + + + + + + + + + + + + + + + + + + + + + + + + + +
+
+
+
+04.09.2023 +
+
+
+ + + + + + + +
+
+
+Deutsches Zentrum für Luft- und Raumfahrt e. V. + +
Bonn + +
+
+
+
+Verschiedene Bekanntmachungen +
+
+
+
+Bericht über die Bezüge des Vorstands im Geschäftsjahr 2021 + + + + + + + + + + + + + + + + + + + + + + + + + + +
+
+
+
+11.11.2022 +
+
+
+ + + + + + + +
+
+
+Deutsches Zentrum für Luft- und Raumfahrt e. V. + +
Bonn + +
+
+
+
+Verschiedene Bekanntmachungen +
+
+
+
+Bericht über die Bezüge des Vorstands im Geschäftsjahr 2020 + + + + + + + + + + + + + + + + + + + + + + + + + + +
+
+
+
+28.01.2022 +
+
+
+ + + + + + + +
+
+
+Deutsches Zentrum für Luft- und Raumfahrt e. V. + +
Köln + +
+
+
+
+Verschiedene Bekanntmachungen +
+
+
+
+Förderung von Projekten im Bereich Erdbeobachtung zum Thema „Entwicklung innovativer Methoden und Dienste zur anwendungsorientierten Nutzungsvorbereitung der EnMAP-Mission“ + + + + + + + + + + + + + + + + + + + + + + + + + + +
+
+
+
+14.07.2021 +
+
+
+ + + + + + + +
+
+
+Deutsches Zentrum für Luft- und Raumfahrt e. V. + +
Köln + +
+
+
+
+Verschiedene Bekanntmachungen +
+
+
+
+Förderung von Vorhaben im Bereich „Entwicklung und Implementierungsvorbereitung von Copernicus Diensten für den öffentlichen Bedarf in Deutschland“ + + + + + + + + + + + + + + + + + + + + + + + + + + +
+
+
+
+21.05.2021 +
+
+
+ + + + + + + +
+
+
+Deutsches Zentrum für Luft- und Raumfahrt e. V. + +
Köln + +
+
+
+
+Verschiedene Bekanntmachungen +
+
+
+
+Änderung der Bekanntmachung: Fristverlängerung zur Vorlage von Projektskizzen + + + + + + + + + + + + + + + + + + + + + + +
Berichtigung der Veröffentlichung vom 24.12.2020 + + + + + +
+
+
+
+19.02.2021 +
+
+
+ + + + + + + +
+
+
+Deutsches Zentrum für Luft- und Raumfahrt e. V. + +
Köln + +
+
+
+
+Verschiedene Bekanntmachungen +
+
+
+
+Förderung von Vorhaben im Bereich „Entwicklung und Implementierungsvorbereitung von Copernicus Diensten für den öffentlichen Bedarf zum Thema Klimaanpassungsstrategien für kommunale Anwendungen in Deutschland“ + + + + + + + + + + + + + + + + + + + + + + +
Berichtigt am 19.02.2021 + + + + + +
+
+
+
+24.12.2020 +
+
+
+ + + + + + + +
+
+
+Deutsches Zentrum für Luft- und Raumfahrt e. V. + +
Bonn + +
+
+
+
+Verschiedene Bekanntmachungen +
+
+
+
+Bericht über die Bezüge des Vorstands im Geschäftsjahr 2019 + + + + + + + + + + + + + + + + + + + + + + + + + + +
+
+
+
+12.10.2020 +
+
+
+ + + + + + + +
+
+
+Deutsches Zentrum für Luft- und Raumfahrt e. V. + +
Köln + +
+
+
+
+Verschiedene Bekanntmachungen +
+
+
+
+ÄNDERUNG der Bekanntmachung "Förderung von Vorhaben im Bereich Erdbeobachtung" (veröffentlicht am 22.05.2020) + + + + + + + + + + + + + + + + + + + + + + + + + + +
+
+
+
+01.07.2020 +
+
+
+ + + + + + + +
+
+
+Deutsches Zentrum für Luft- und Raumfahrt e. V. + +
Köln + +
+
+
+
+Verschiedene Bekanntmachungen +
+
+
+
+Förderung von Vorhaben im Bereich Erdbeobachtung zum Thema: Entwicklung und Nutzung von Methoden der Künstlichen Intelligenz für den anwendungsorientierten Einsatz in der Satellitenerdbeobachtung + + + + + + + + + + + + + + + + + + + + + + + + + + +
+
+
+
+22.05.2020 +
+
+
+ + + + + + + +
+
+
+Deutsches Zentrum für Luft- und Raumfahrt e. V. + +
Köln + +
+
+
+
+Verschiedene Bekanntmachungen +
+
+
+
+Förderung von Vorhaben zur Weiterentwicklung und Optimierung von additiven Metalldruck- und Bioprintingverfahren für Anwendungen unter reduzierten Schwerkraftbedingungen + + + + + + + + + + + + + + + + + + + + + + + + + + +
+
+
+
+03.03.2020 +
+
+
+ + + + + + + +
+
+
+Raumfahrtmanagement des Deutschen Zentrums für Luft- und Raumfahrt e. V. + +
Königswinterer Straße 522-52453227 Bonn + +
+
+
+
+Verschiedene Bekanntmachungen +
+
+
+
+Umsetzung von Maßnahmen im Rahmen des nationalen Programms zur Förderung von Galileo PRS + + + + + + + + + + + + + + + + + + + + + + + + + + +
+
+
+
+08.01.2020 +
+
+
+ + + + + + + +
+
+
+Deutsches Zentrum für Luft- und Raumfahrt e. V. + +
Köln + +
+
+
+
+Verschiedene Bekanntmachungen +
+
+
+
+Förderung von Vorhaben im Bereich „Entwicklung und Implementierungsvorbereitung von Copernicus Diensten für den öffentlichen Bedarf in Deutschland“ + + + + + + + + + + + + + + + + + + + + + + + + + + +
+
+
+
+19.12.2019 +
+
+
+ + + + + + + +
+
+
+Deutsches Zentrum für Luft- und Raumfahrt e. V. + +
Bonn + +
+
+
+
+Verschiedene Bekanntmachungen +
+
+
+
+Bericht über die Bezüge des Vorstands im Geschäftsjahr 2018 + + + + + + + + + + + + + + + + + + + + + + + + + + +
+
+
+
+30.09.2019 +
+
+
+ + + + + + + +
+
+
+Deutsches Zentrum für Luft- und Raumfahrt e. V. + +
Bonn + +
+
+
+
+Verschiedene Bekanntmachungen +
+
+
+
+Förderung von „Vorhaben im Bereich Automatisierungstechnologien & Robotik - Förderschwerpunkt 1 „Providing Services“ + + + + + + + + + + + + + + + + + + + + + + + + + + +
+
+
+
+07.06.2019 +
+
+
+ + + + + + + +
+
+
+Deutsches Zentrum für Luft- und Raumfahrt e. V. + +
Bonn + +
+
+
+
+Verschiedene Bekanntmachungen +
+
+
+
+Förderung von „Vorhaben im Bereich Automatisierungstechnologien & Robotik - Förderschwerpunkt 2 „Receiving Services“ + + + + + + + + + + + + + + + + + + + + + + + + + + +
+
+
+
+07.06.2019 +
+
+
+ + + + + + + +
+
+
+Deutsches Zentrum für Luft- und Raumfahrt e. V. + +
Bonn + +
+
+
+
+Verschiedene Bekanntmachungen +
+
+
+
+Bericht über die Bezüge des Vorstands im Geschäftsjahr 2017 + + + + + + + + + + + + + + + + + + + + + + + + + + +
+
+
+
+24.12.2018 +
+
+
+ + + + + + + +
+
+
+Deutsches Zentrum für Luft- und Raumfahrt (DLR) e. V. + +
+
+
+
+Verschiedene Bekanntmachungen +
+
+
+
+Förderung von Vorhaben im Bereich Erdbeobachtung zum Thema „Entwicklung innovativer Methoden zur Erstellung erdbeobachtungsbasierter Informationsprodukte“ + + + + + + + + + + + + + + + + + + + + + + + + + + +
+
+
+
+02.10.2018 +
+
+
+ + + + + + + +
+
+
+Deutsches Zentrum für Luft- und Raumfahrt e. V. + +
Köln + +
+
+
+
+Verschiedene Bekanntmachungen +
+
+
+
+Förderung von Innovations- und Transfervorhaben der Raumfahrt + + + + + + + + + + + + + + + + + + + + + + + + + + +
+
+
+
+06.09.2018 +
+
+
+ + + + + + +
+ + +
+
+19 Seiten +
+
+ +
+
+
+ +
+ +
+
+ +
+
+
+
+ + + + + +
+ + +
+ +
+
+
+ + + +
+ + + + + + diff --git a/tests/bundesanzeiger/test_parsing.py b/tests/bundesanzeiger/test_parsing.py new file mode 100644 index 0000000..48f5c2f --- /dev/null +++ b/tests/bundesanzeiger/test_parsing.py @@ -0,0 +1,12 @@ +import os +from deutschland.bundesanzeiger import Bundesanzeiger + + +def test_get_next_page_link(): + html_file = os.path.join(os.path.dirname(__file__), "response.html") + with open(html_file) as file: + html = file.read() + ba = Bundesanzeiger() + link = ba._Bundesanzeiger__get_next_page_link(html) + expected = "https://www.bundesanzeiger.de/pub/de/suchen2?4-1.-top~nav-pager-navigation-1-pagination~link" + assert link == expected diff --git a/tests/bundesanzeiger/test_results.py b/tests/bundesanzeiger/test_results.py index 7e9e219..ca2909d 100644 --- a/tests/bundesanzeiger/test_results.py +++ b/tests/bundesanzeiger/test_results.py @@ -7,8 +7,8 @@ def test_results_not_empty(): assert len(reports) > 0 -def test_multiple_entries(): +def test_multiple_pages(): ba = Bundesanzeiger() - reports = ba.get_reports("DE000A0TGJ55") + reports = ba.get_reports("DE000A0TGJ55", page_limit=2) - assert len(reports) > 1 + assert len(reports) == 40