Sprachassistenz in autonomen Fahrzeugen

Bei den PROJEKTIONISTEN® beschäftigen wir uns mit der Digitalisierung von Unternehmen – unter anderem auch von Verkehrsbetrieben. Daher haben wir es uns zur Aufgabe gemacht, die Zukunft der Mobilität mitzugestalten und begleiten dieses spannende Projekt in Frankfurt am Main.‍

Wo helfen Sprachassistenten? ‍

Sprachassistenten sind im privaten Bereich bereits heute viel im Einsatz und erleichtern vielen Menschen den Alltag, sie helfen beispielsweise beim Erstellen von Einkaufslisten oder informieren über das Wetter, die Uhrzeit oder lassen einen Timer einstellen. Wie genau Sprachassistenten funktionieren, erklären wir hier.

Wie sieht der Verkehr in der Zukunft aus?

Aus dem Haus gehen, schnell per App on demand ein autonom fahrendes Shuttle buchen und sich zum Einkaufen oder zur nächsten Bahnhaltestelle bringen lassen, ohne lange Wartezeit oder weiten Fußweg. Per Sprachassistent zudem noch abfragen können, wann die nächste Bahn an der Zielhaltestelle fährt. So sieht die Zukunft in Frankfurt Riederwald heute aus – dort befindet sich ein bis zu 20 km/h elektrisch autonom fahrendes Shuttle, das in dem Wohngebiet als shared mobility Pilotprojekt seit Mitte November 2022 fährt. Zusätzlich lässt sich in der App erkennen, wann das Fahrzeug am gewählten Startpunkt, als virtuelle Haltestelle, ankommt und wo es sich aktuell befindet. Bis zu fünf Personen gleichzeitig können befördert werden, die Route wird dafür dann berechnet, sodass die kürzesten Wege abgefahren werden.

Für die Sicherheit ist das Fahrzeug kameraüberwacht und hat in der Testphase einen Operator mit an Bord – eine geschulte Person, die in manchen Fällen eingreifen kann und das Fahrzeug steuert. Zum Beispiel, weil ein geparktes Auto zu weit auf der Straße steht und das Shuttle automatisch stehen bleibt. Behinderten- und Kinderwagen gerecht gibt es in dem kleinen Fahrzeug zusätzlich eine Rampe, die sich durch einen Knopfdruck am Fahrzeug innen und außen ausfahren lässt.

Wie funktioniert der RMV Sprachassistent?

‍“Wie komme ich zum Frankfurter Hauptbahnhof”, lässt sich sitzend im Shuttle sagen und Nutzende erhalten eine Auskunft über ein iPad mit integrierter EASY App, die wir gemeinsam mit dem RMV entwickelt haben. Als Wake Word, das Wort/Name auf den der digitale Assistent reagiert und startet, wurde mit “Hey RMV” ein eigenes speziell für das Pilotprojekt entwickeltes Wake Word geschaffen. So lässt sich im Shuttle durch Aktivierung des Buttons oder durch „Hey RMV“ der Dialog starten. Bewegende Wellen am unteren Rand signalisieren den Nutzenden, dass der Assistent bereit ist und auf eine Frage nach Abfahrten oder Verbindungen wartet. Um eine geringere Fehlerquote zu erhalten bei z.B. unterschiedlicher Aussprache oder Orten und Namen, die falsch verstanden werden können, haben wir mit Synonymlisten gearbeitet, die ständig erweitert werden. Auch die Überarbeitung der Sensibilisierung der Aktivierung des Assistenten über das Wake Word wurde durch erste Tests angepasst und optimiert. Bevor das Shuttle in den Betrieb gegangen ist, war das Testen nur unter künstlichen Bedingungen gegeben: In Büros und Arbeitszimmern, wo es keine großen Nebengeräusche gab und wenig bis keine anderen Menschen. Daher waren vor Ort Tests sehr wichtig, um unter realen Bedingungen die Gegebenheiten zu verstehen und zu testen. ‍

Was war die größte Herausforderung an der EASY App?

Wenn man in unserem Entwicklungsteam nachfragt, war die größte Herausforderung definitiv das Wake Word. Spezifisch auf die Easy App vielleicht noch das Anpassen auf die speziellen Bedürfnisse im Easy Shuttle wie z.B. wie die Starthaltestelle ermittelt wird. ‍

Was war die größte Erkenntnis für unsere Arbeit an diesem Projekt?

‍Die STT-Engines (Speech To Text) sind gut, aber da geht noch was. Auf diesen Fall adaptierte Engines, also die Sprache-zu-Text-Technologien sind sehr sinnvoll und werden wir ausprobieren.

Das Projekt wird noch bis Juli 2023 laufen, in dieser Zeit arbeiten wir weiter an der Optimierung des Sprachassistenten und generell an den Technologien rund um die digitalen Assistenten.