Die Vorgeschichte
Seit Kurzem spiele ich wieder mit OpenStreetMap und Software herum. Das habe ich vor Jahren schon einmal, jetzt hat es mich mal wieder gepackt, hier ein altes Projekt:
https://source.dpin.de/nica/mappix
Mappix sollte mal ein Tool werden, um GPS Tracks direkt in Kartendaten zu verwandeln. Auf dem Weg entstand eine Menge Code zum Malen der Tracks und auch zur Optimierung. So habe ich einen Algorithmus gebastelt, der “unnötige” Punkte des Tracks eliminiert aber trotzdem genug übrig lässt, damit der Track sinnvoll bleibt. Ja, da gibt es auch den Peuker Algorithmus, aber meiner ist einfacher und leichter zu implementieren 🙂 Wer Näheres wissen möchte schaue in den Code oder kann auch gerne mich kontaktieren. Aktuell schaue ich eher zu, dass ich OSM Karten mittels LibOSMScout in einer GTK+ Applikation malen kann. Klappt schon ganz gut, für den Hausgebrauch 🙂
Wenn ich also nun Karten malen kann, also nicht nur Tiles runterladen und darstellen, sondern richtig direkt live malen lassen, dann kann man darin natürlich auch anderes hineinmalen! Wie z.B. … Verkehrsinformationen, also soetwas wie Stau oder Baustellen!
Vor Jahren hatte ich dazu auch mal angefangen einen RDS TMC Dekoder zu basteln. Es gibt eine Reihe FM Radio Empfänger, bspw. basierend auf dem SI4703 Chip, die nicht nur FM Radio empfangen, sondern auch direkt die RDS Daten ausgeben können. Für solche einen Empfänger ist mein TMC Dekoder.
RDS TMC
TMC ist eine Spezifikation zur Übermittlung von Verkehrsinformationsdaten parallel zum analogen FM Radio Signal. Der Kanal ist sehr schmalbandig, also wird die Übertragung stark kodiert und versucht möglichst viele Bits einzusparen. Das Dekodieren ist ein echter Spaß, mächtiges Bit Fummeln! Aber das ist hier nicht das Thema. TMC wird von fast allen FM (UKW) Radio Sendern mit ausgestrahlt, die Meldungen sind meist auch für die Region des Senders gefiltert, d.h. ein Sender in Bayern wird eher keine Meldungen aus Hamburg übertragen.
Damit die Standorte nicht direkt mit übertragen werden müssen, werden nur numerische IDs übertragen, die dann in einer Tabelle nachgeschlagen werden müssen. Dies ist die sogenannte LCL, die Location Code List. Macht Sinn. Zur menschenlesbaren Textform werden die Meldungen dann also, indem aus dem TMC Datenstrom Meldungstyp und Lokationen (ggf. Start und Ende) aus der ECL (Event Code List) und LCL übersetzt werden. Die LCL und ECL sind also wesentliche Teile, ohne die nützt TMC nichts.
Noch kurz ein Wort zu TMC Pro, dies ist ein Dienst, der durch kommerzielle Anbieter erweitert wird und teils verschlüsselt übertragen wird. Öffentlich rechtliche Radiostationen verwenden meist normales TMC, die meisten privaten Radio Sender aber TMC Pro. Bei TMC Pro ist praktisch alles gleich, nur die LCL Lokationen werden mit einem symmetrischen Schlüssel verschlüsselt übertragen. Man kann sich vorstellen, dass das nicht so super sicher ist und diese Schlüssel recht schnell ermittelbar sind. Die LCL Tabellen sind aber die gleichen.
RDS Empfänger
Als FM Empfänger zum RDS spielen gibt es einige Möglichkeiten, am besten basierend auf Chip von Silicon Labs, wie dem Si4702/Si4703 oder Si4732. Bei eBay findet man viele fertige Platinen damit, z.B. solche für Arduino & Co (oder alles was I2C kann):
Oder ganze Radios auf Basis des SI4732 mit eingebautem Arduino Clone:
Davon habe ich mir auch eines bestellt und werde dann die Firmware etwas modifizieren, damit auf dem USB des Arduino das RDS rausfällt.
Eine LCL bekommen
Die LCL werden von den einzelnen Ländern für ihr eigenes Straßennetz gepflegt. In Deutschland ist das Bundesamt für Straßenwesen (BAST) dafür zuständig:
Wer die LCL haben möchte kann die nicht einfach herunterladen, sondern muss eine eMail an das BAST schreiben und darum bitten. Im Anschluss wird man auf eine Webseite verwiesen, auf der man zuvor Nutzungsbedingungen zustimmen muss. Diese besagen unter anderem, dass man die LCL selbst und beigefügte Dokumentation nicht direkt weitergeben darf, wohl aber darf man die LCL Daten in eigene Produkte, wie einen TMC Empfänger, einbetten.
Hier frage ich mich wirklich, wer sich soetwas ausdenkt?
Warum wird das LCL Paket nicht schlicht frei zum Download angeboten? Ich habe es hier vorliegen und es enthält exakt nichts, was in irgendeiner Form schützenswert wäre.
Zudem gibt es in Deutschland seit ein paar Jahren ein Open Data Gesetz, nachdem Behörden dazu verpflichtet sind, mit öffentlichen Geldern erstellte Daten auch öffentlich (frei) verfügbar zu machen. Die LCL wäre wohl prädestiniert dazu! Mein Rückfrage dazu mit Verweis auf Open Data wurde vom BAST bisher nicht beantwortet.
Ich finde das extrem ärgerlich. Was soll diese Geheimniskrämerei um diese Trivialität?
Woher kommen die Verkehrsmeldungen?
Mal angenommen, man hat die Meldungen dann erfolgreich aus dem TMC extrahiert, dann stellt sich im Folgenden natürlich auch die Frage, was darf man damit eigentlich machen? Woher kommen die und unter welcher Lizenz stehen sie?
Für TMS Pro ist das recht einfach, dies ist ein kommerzieller Dienst, also nicht frei und wird von Navteq betrieben. Doch was ist mit den Meldungen des öffentlich rechtlichen Rundfunks?
Das herauszubekommen ist alles andere als einfach! In meiner Region federführend für den öffentlich rechtlichen Rundfunk ist der WDR. Eine eMail Adresse des WDR ist praktisch nicht zu finden und Anfragen über das Kontaktformular wurden bisher auch nach Wochen nicht beantwortet.
Eigentlich hätte ich die Meldungen, auch gerne als TMC Datenstrom oder was auch immer (dazu gleich noch mehr) über das Internet, also per IP Verbindung und dann auch bitte für das ganze Bundesgebiet und nicht nur das, was mir mein lokales Radio über TMC anbietet. Doch seltsamerweise gibt es nirgends einen IP Zugang dazu.
Der Mobilitätsdaten Marktplatz (MDM)
Mit einiger Recherche und auch Nachfragen bei Ämtern wurde ich dann auf das Mobilitätsdaten Marktplatz (MDM) verwiesen. Ein Projekt des BMWI, Andi Scheuer, na das kann ja nur gut werden! Zugang dazu bekommt man nur nach Anmeldung und Zusenden einen SSL Zertifikats! Noch komplizierter geht es kaum. Die Anmeldung scheint sich auch primär an Firmen zu richten, ich weiß nicht, ob man als Privatperson überhaupt Zugang bekäme. Ohne Anmeldung kann man nicht einmal sehen, was theoretisch zugreifbar wäre. Ich habe meine Firma angemeldet und damit dann Zugang bekommen.
Was sich dort findet ist ein Trauerspiel. Ich habe keine quantitative Analyse gemacht aber gefühlt 80% der Daten sind alte statische Auswertungen irgendwelcher Dinge, die mit Verkehr zu tun haben – die Auswertung der Verkehrsüberwachung (also Knöllchen) der Stadt Moers der letzten 10 Jahre zum Beispiel. Na super! Das brauchen wir unbedingt! Also schön, dass die das zur Verfügung stellen, doch warum muss ich mich dafür anmelden!? Das kann einfach so öffentlich sein?
Aktuelle Verkehrsinformationen sind in dem MDM Portal kaum zu finden. Und wenn, dann sind es Nischenthemen, wie der Verkehrsfluss auf den Kölner Rheinbrücken. Das ist zwar auch ganz interessant, dies sind aber keine Verkehrsmeldungen und Lichtjahre von dem entfernt, was über TMC kommt. Ich habe lange dort herumgesucht und wirklich nichts gefunden, was den TMC Meldungen auch nur nahe kommt.
Aber wird noch besser!
Selbst wenn dort interessante Daten lägen, so sind die meisten (nicht alle, aber die meisten) hinter noch weiteren Wänden versteckt! Zum einen muss man zuerst bei der liefernden Behörde um Zugang bitten – per eMail! Für den Zugang muss man dann ein weitere Maschinenzertifikat beantragen, für den Server / Rechner, dem dann erlaubt wird, die Daten abzuholen – mit dem Zertifikat.
Das fühlt sich alles so an, als wenn es hier um Staatsgeheimnisse ging! Das ist völlig grotesk! Das sind Daten, die mit öffentlichen Geldern geschöpft wurden und gefälligst auch kostenfrei der Öffentlichkeit zur Verfügung gestellt werden müssen, einfach so, per Click und fertig! Völlig irre. Und wir reden hier gerade nur über Verkehrsmeldungen weil ich mich gerade damit auseinandersetze. Wer weiß, was da noch irgendwo verschimmelt.
Also schlussendlich taugt das MDM also auch nicht für das, was ich gerne hätte. Ist es denn so schwer einen TMC Strom per IP zu bekommen!?
Der Verkehrswarndienst der Polizei – VWD
Also habe ich weiter gegraben, irgendwoher müssen die Meldungen des TMC doch kommen, die hacken die Radiosender wohl kaum selbst ein?
Nach viel Suchen kam ich langsam auf eine Spur. Die meisten Meldungen im TMC stammen wohl aus dem Verkehrswarndienst der Polizei! Jede Landespolizei sammelt diese Meldungen und speist sie in ein System ein. Bundesweit koordiniert und gesammelt wird dies von der Landespolizei in NRW – Bingo!
Es gibt sogar eine Rahmenrichtlinie für den Verkehrswarndienst (RVWD) vom 22.5.2021, also aktuell. In dieser heißt es unter anderem:
3
Beteiligte am Verkehrswarndienst und deren Aufgaben3.3
Abnehmer von Verkehrswarnmeldungen (sogenannte Service-Partner)Abnehmer von Verkehrswarnmeldungen können z.B. Rundfunkanstalten / Rundfunkanbieter, Automobilclubs und private Anbieter von Verkehrsinformationen sein.
Ach guck, auch Private können Abnehmer sein? Das ist ja spannend! Nur leider wird nirgends erwähnt, wo man diese abnehmen kann! Weiter unten heißt es:
6
Sonstige Vereinbarungen6.1
Als Grundlage für das Meldungsmanagement gelten für alle Beteiligten am Verkehrswarndienst– die gemeinsame Schnittstellendefinition gemäß der Feinspezifikation des Bundesministeriums für Verkehr, Bau- und Wohnungswesen für die Realisierung des automatisierten Verkehrswarndienstes auf der Basis von RDS/TMC.
Also schlussendlich wieder das BASt. Beim BASt nachgefragt, wo man denn nun den Zugang zum VWD erhalten können, zuckte man mit den Schultern, man sei eben nur für die Spezifikation zuständig. Na großartig. Immerhin kannte das BAST noch eine Quelle für Verkehrsinformationen aus NRW, die in der Tat schon ganz gut ist. Hier bekommt man die Meldungen der Autobahnen in NRW:
https://open.nrw/dataset/verkehrslage_los_1568186993
Und das auch noch ohne Anmeldung und Brimborium. Aber eben nur die Autobahnen und nur für NRW. Das reicht mir also noch nicht.
Also habe ich eine Anfrage an die zuständige Landespolizei NRW geschickt mit Bitte um Zugang zum VWD. Bisher keine Antwort. Also dann noch eine Anfrage an das Landesinnenministerium als Aufsicht führende Behörde der Polizei. Diese wurde beantwortet (wie immer bei Ministerien, man schreibt eine eMail und bekommt per eMail einen Brief als PDF Anhang zur Antwort – Fax habe ich ja keines :-), allerdings auch nur die Mitteilung, dass man es an die Landespolizei zur Bearbeitung weitergeleitet habe. Na vielleicht reagieren die endlich mal, wenn die Anfrage aus dem Ministerium kommt?
Ich bin auf jeden Fall mal wieder sehr verärgert darüber, wie hier mit öffentlichen Daten und Mitteln umgegangen wird. Ich komme mir vor wie eine unbedeutende Bittstellerin, die sich hier versuchen würde Dinge zu erschleichen, auf die man eigentlich keinen Anspruch hätte. Falsch! Dies sind öffentlich Daten und haben auch der Öffentlichkeit zur Verfügung zu stehen! Ich könnte platzen! Und es sieht mal wieder so aus, als wenn Firmen hier vom Staat bevorzugt würden. Beim MDM muss man einen Firmennamen angeben! Wie bitte?
Ich werde sie befreien!
Ich bin gespannt, was das BASt dazu sagt, dass die LCL eigentlich laut Open Data Gesetz frei sein müsste, wenn sie darauf überhaupt antworten. Wenn dem so sei, werde ich die LCL auf jeden Fall hier zum Download hochladen!
Und wenn ich Zugang zum VWD bekommen sollte und es die Nutzungsbedingungen nicht verbieten, was eigentlich nicht sein kann, dann werde ich auch diese Rohdaten irgendwie zur Verfügung stellen, vielleicht mit einem Proxy oder soetwas.
Ich finde es unmöglich, wie der Staat hier mit seinen Bürger*innen umgeht. Und wenn die es nicht selbst ordentlich machen, dann mache ich es eben selbst.
Next Generation – TPEG
Nun ist das Ende von UKW Radio absehbar, abgelöst werden wird es durch DAB. Auch die Lebenszeit der LCL hat ein Ablaufdatum, nach 2022 werden vermutliche keine Aktualisierungen mehr erfolgen. Das ist auch einsehbar, denn der Nummernraum ist nur 16 Bit und damit die Anzahl der Lokationen begrenzt. Schon jetzt ist die LCL für Deutschland fast voll.
Als dedizierter Nachfolger von UKW Radio gilt DAB+, das digitale Radio. Dazu habe ich mich schon einmal ausgelassen, das ist ein völliges Desaster. Im DAB ist für Verkehrsmeldungen ein neuer breiterer Kanal vorgesehen, das sogenannte TPEG. DAB ist ein Konsortiumskonstrukt und wie immer bei solchen Konstrukten haben viele Köche in den Brei etwas eingebracht. So strotzt DAB also von “Standards” und Spezifikationen, es sind schier Dutzende. Auch TPEG basiert wohl auf mehreren, das Dekodieren wird also noch deutlich schwieriger, als es bei TMC war.
Hinzu kommt bei DAB eine etwas seltsame Lage zum Empfang. Es gibt praktisch keine DAB Empfänger, die den rohen Datenstrom eines Muxes ausspucken, den sogenannten ETI Strom. In dem Strom sind mehrere Dienste gemultiplexed, daher auch die Abkürzung “Mux”. Die Muxe in meiner Gegend haben alle einen TPEG Kanal. Nur leider kommt man da nicht dran!
Bisher einzige Möglichkeit, die ich gefunden habe, ist mittels Software Defined Radio (SDR) und den günstigen RTL SDR Sticks. Das ist zwar super cool und ich bin unglaublich beeindruckt von der Software! Aber hey, warum kann man nicht einen Chip bauen, der das ganze Radio Zeug (Empfang, Demultiplexen, Demodulieren etc.) macht und einfach den Datenstrom eines ganzen Mux rauswirft? Dann könnte man in Ruhe in Software den Datenstrom demuxen und rausholen, was man möchte. Aber alle üblichen DAB Radios sind reine Audio Empfänger und das bisschen Daten, was sie noch rausziehen, zeigen sie dann auf wutzeligen kleinen Displays an.
Nach viel Suchen habe ich zwei Empfänger gefunden, mit denen man vielleicht etwas anfangen könnte, zumindest für TPEG:
Das ist ein keines Platinchen für den Raspberry-Pi basierend auf dem Silicon Labs Si4684 Chip. Der Si4684 kann neben FM eben auch DAB, macht auch die Audio (AAC) Dekodierung selbst (OK, bräuchte ich jetzt nicht) und kann eben auch über SPI speziell den TPEG Strom auswerfen. Ich bin mal gespannt. Das dekodierte Audio kann wohl auch als I2S digitales Audio in den PI gespeist werden, was dann auch einen guten digital Radio streaming Server machen würde.
Etwas nervig ist nur, dass der Si4684 eine Firmware braucht, die proprietär ist. Schlimmer noch, SiLabs hat die Sparte mit dem Empfänger gerade verkauft und die Chips werden jetzt praktisch nur noch für Automotive angeboten, d.h. als Privatmensch ist man hier außen vor.
Wie dem auch sei, noch gibt es sie und auch Boards damit, also genug um zu spielen. Als zweites habe ich mir noch dies hier bestellt:
Das ist ein Shield für Arduino ebenfalls auf dem Si4684 basierend. Damit könnte man ggf. eine Art stand alone TPEG Empfänger bauen, der dann den TPEG Strom einfach per USB vom Arduino auswirft. Na mal sehen.
Es ist ja bald Bundestagswahl!
Hallo Nicole,
passend zum Thema “Public Money? Public Code!”:
Heute ist auf der FSFE-Mailingliste:
auf ein diesbezügliches Video der Kabarettistin Christine Prayon aufmerksam gemacht worden.
oder hier
Ciao
Walter
PS: Dein Captcha akzeptiert bei “5 x fünf =” keine 25,0 😉
Links nachgeliefert:
https://lists.fsfe.org/pipermail/fsfe-de/2021-June/011859.html
https://peertube.social/videos/watch/bfcc93cf-68f5-4e81-b4ed-df02f046ef8f
https://www.youtube.com/watch?v=qi4mLLCIogU
Danke für den Hinweis 🙂
Und das Captcha Zeug… ich geb’s zu, ist nicht meins, das ist was hier so eingebaut ist… leider gibt es viel Vandalismus bei solchen Kommentarfunktionen und daher habe ich das aktiviert, sorry wenn’s nervt.