Ihr Browser (Internet Explorer 10/11) ist veraltet. Aktualisieren Sie Ihren Browser für mehr Sicherheit, Geschwindigkeit und den besten Komfort auf dieser Seite.
Rollstuhl Autelo fährt in Stadtkulisse per Spracheingabe zum Ziel
Intuity Lab Project

Autelo – In zwei Wochen zum selbstfahrenden Rollstuhl

Autelo ist ein Rollstuhl, der den Weg kennt. Er nimmt dir mittels LiDAR, Stereo-Kamera und NVIDIA Jetson das Steuern ab, ohne dir die Entscheidung zu nehmen. Wohin, das bestimmst du: zur Schule, zum Fenster, zu einem Freund, in ein gutes Café. Autelo bringt dich hin – wir haben uns gefragt, wie weit entfernt diese Zukunft noch ist.

Wir entwickeln die nächste Generation von Steuerungen und Interaktionselementen für motorisierte Rollstühle. Aus der Zusammenarbeit mit einem Antriebstechnikhersteller ist dabei Neugier auf die Zukunft der autonom fahrenden Rollstühle entstanden. Um sie zu explorieren, durften wir einen Prototyp seines Antriebs nehmen und ihn freundlich hacken. Dazu kamen: ein 360°-Laserscanner, etwas Elektronik und Open-Source-Software aus dem Bereich des autonomen Fahrens.

Für den technischen Durchstich haben wir einen Sprint aufgesetzt: Zwei Personen, zwei Wochen Zeit und maximal 2.500 Euro für zusätzliche Hardware. Wir wollten sichtbar machen, was heute State of the Art ist und was noch Forschung. Das Ziel war nicht die perfekte Lösung, sondern ein Realitätscheck: Der Rollstuhl sollte ein per Spracheingabe gesetztes Ziel in einem vorab kartierten Bereich selbstständig anfahren.

Am Ende der zwei Wochen navigierte der Rollstuhl selbstständig entlang einer vorab kartierten Route – auf einen Sprachbefehl hin. Was nicht funktionierte: das Befahren völlig offener Flächen, Kartierungsfahrten mit schnellen Richtungswechseln sowie Objekte unterhalb der Scanebene, insbesondere Bordsteinkanten.

Das Vorgehen

Ziel war es zunächst, systematisch technische Grundlagen und Annahmen zu überprüfen, um im nächsten Schritt darauf aufbauen zu können.

  1. Kennenlernen und Stresstest der Antriebsschnittstelle: Latenz und Reichweite in verschiedenen Umgebungen, Timeout-Wert der Totmannschaltung, Encoder-Format.
  2. SLAM-Kartierung und Navigation in Innenräumen mithilfe eines 2D-LiDAR-Sensors (RPLIDAR), eines IMU-Sensors (Inertial Measurement Unit) und Rad-Odometrie, inklusive gezielter Störungstests.
  3. Kartierung und Navigation im Außen- und städtischen Bereich durch zusätzliche Verwendung einer Stereo-RGB-D-Kamera und eines Nvidia Jetson Orin Nano Developer Kits.
  4. Erstellung einer semantischen Karte durch Verknüpfung der geometrischen Positionen semantischer Objekte oder Orte mit der mittels SLAM generierten Karte, wodurch Ziele anhand ihrer semantischen Bedeutung und nicht ausschließlich anhand von Koordinaten definiert werden können. Integration von Sprach- oder Textbefehlen von Rollstuhlfahrern zur Navigation. Verarbeitung dieser Befehle mithilfe eines Sprachmodells, das die Route in Abstimmung mit dem Navigationssystem berechnet. Entwicklung webbasierter Benutzeroberflächen für Kartierung und Navigation, um eine „headless“-Visualisierung ohne zusätzlichen Bildschirm zu ermöglichen.

Der Schlüssel: Integration

Fast alles, was Autelos Autonomie ermöglicht, ist bereits verfügbar: die Navigationssoftware, die Kartierung, die Sensortreiber. Selbst geschrieben haben wir den Adapter zwischen der Navigation und der Antriebssteuerung des Herstellers. Der Rest war Zusammensetzen, Ausprobieren, Überarbeiten oder Verwerfen.

Portrait
Thomas Weiß, Prototyping
„Da Motoren und Steuerungssystem unseres Partners bereits für medizinische Anwendungen ausgelegt sind, bestand unsere einzige Aufgabe in der Integration: der Implementierung eines ROS-2-Knotens, der zwischen den Bewegungsbefehlen an die Räder und dem Steuerprotokoll angesiedelt ist und die Rad-Odometrie verwaltet sowie ausliest.”

Out of scope

Um innerhalb des Projektzeitraums einen Durchbruch zu erzielen, haben wir den Funktionsumfang bewusst eingeschränkt: kein GPS (die Genauigkeit liegt unter Baumkronen und zwischen Gebäuden im Meterbereich), keine neue Antriebselektronik und keine freie Pfadplanung. Stattdessen setzen wir auf Scan-Matching auf Basis einer selbst erstellten Karte, die einsatzbereite Funkschnittstelle des Antriebs sowie einen präzisen, stabilen und zuverlässigen Navigationsalgorithmus wie „Regulated Pure Pursuit“. Alle diese Funktionen lassen sich jedoch bei Bedarf anpassen oder erweitern.

Hardware und Software – die Systemarchitektur

Als Standardbasis für unsere Entwicklungen nutzten wir die in ROS2 verfügbaren Algorithmen für Navigation und SLAM-Mapping. Die gesamte übrige Software haben wir selbst programmiert, um die Kommunikation zwischen ROS2, den Navigations- und Mapping-Algorithmen, den Mikrocontrollern, den Sensorschnittstellen sowie den Benutzeranwendungen bzw. -schnittstellen zu ermöglichen. Nachfolgend eine Übersicht der Stückliste und des Software Stacks:

  • Antriebs- und Steuerungssystem direkt vom Hersteller – drahtlose Schnittstelle mit Totmann-Überwachung, Encoder-Rückmeldung
  • 2D-LiDAR für SLAM und Hindernisvermeidung: Slamtec RPLIDAR S2, 360°, 30 m Reichweite, IP65 (ca. 427 €)
  • Kamera für Navigation und Objekterkennung: Stereolabs ZED 2i Stereo-RGB-D-Kamera, IP66, 2,1-mm-Objektiv (ca. 950 €)
  • IMU-Breakout-Board: BNO055 – 9-Achsen-Sensor bestehend aus 3-Achsen-Beschleunigungssensor, 3-Achsen-Gyroskop und 3-Achsen-Magnetometer, erfasst Bewegung, Beschleunigung und räumliche Orientierung (ca. 25 €)
  • Prozessor / Roboter-Computer: NVIDIA Jetson Orin Nano Super Dev. Kit, 67 TOPS, 8 GB DDR5 – für den Betrieb von slam_toolbox, Nav2 und dem restlichen Navigations-Stack (ca. 500 €)
  • Stromversorgung: DC-DC-Wandler zur Versorgung der Zusatzhardware und des Jetson über die Rollstuhlbatterie (ca. 250 €)
  • Middleware: ROS 2 Jazzy auf Ubuntu 24.04
  • Navigation: Nav2 – Costmap, Planner, Controller, Geschwindigkeitsbegrenzung
  • Kartierung und Lokalisierung: slam_toolbox
  • Sensorfusion: robot_localization, Extended Kalman Filter (EKF) unter Verwendung von Rad-Odometrie und IMU
  • LiDAR-Treiber: rplidar_ros
  • Kartierungsfahrten und manueller Rückfallmodus: teleop_twist_joy / teleop_twist_keyboard
  • Monitoring: Foxglove Studio / Rviz2
  • Spezifischer Code: wheelchair_driver_node (Python/rclpy) – übersetzt cmd_vel in das Steuerprotokoll des Antriebs und Encoder-Werte in nav_msgs/Odometry
  • Zusätzlich: Befestigungsmaterial für Sensoren (ggf. 3D-Druck, ca. 50 €), Kabel, Steckverbinder, Sicherungen, ein wetterfestes Gehäuse (ca. 60 €), Pylonen und Absperrband zur Streckenmarkierung (ca. 20 €), ein dedizierter Reise-Router, ein Gamepad, ein zusätzlicher Totmannschalter sowie ein Puffer für unvorhergesehene Fälle.
Gesamtarchitektur des autonomen Rollstuhls
Gesamtarchitektur des autonomen Rollstuhls

Wie der Rollstuhl die Karte erstellt

Die Karte wird während des manuellen Betriebs generiert: slam_toolbox erstellt kontinuierlich eine Darstellung der Umgebung mithilfe von 360°-Scans des RPLIDAR sowie – optional – einer zusätzlichen RGB-D-Kamera. Nav2 nutzt diese Karte und einen Scan-Matching-Algorithmus anschließend für die Navigation und Positionsbestimmung. Zur Ermittlung der präzisen Position und Ausrichtung werden Rad-Odometriedaten und IMU-Messwerte mittels eines erweiterten Kalman-Filters (Extended Kalman Filter) fusioniert.

Wie aus der Karte eine Fahrt wird

Während der Fahrt berechnet der Navigationsalgorithmus (Nav2) eine sogenannte cost map (Kostenkarte), in der jedes erkannte Hindernis einen Sicherheitsradius um sich herum definiert. Der Pfadplaner ermittelt den „optimalen“ Weg durch die Karte, während das Steuerungssystem den Rollstuhl auf dieser Route hält. Da die Strecke bekannt ist, besteht die Hauptaufgabe nicht in einer freien Pfadplanung, sondern vielmehr darin, dem Pfad präzise zu folgen und Hindernissen oder Objekten auszuweichen, die plötzlich auf der Fahrstrecke auftauchen.

Mit Sprachbefehlen zum Ziel

Zur Steuerung des Rollstuhls mittels natürlicher Sprache setzen wir ein Sprachmodell ein, das gesprochene oder geschriebene Anweisungen der Nutzer:innen entgegennimmt. Darüber hinaus haben wir die – mittels SLAM erzeugte – geometrische Karte zu einer semantischen Karte erweitert, die wichtige Zielorte oder Objekte enthält. Das Sprachmodell identifiziert diese Orte oder Objekte anhand der Befehle und übermittelt die entsprechenden Zielkoordinaten aus der semantischen Karte an das Navigationssystem.

Ergänzung der generierten 2D-SLAM-Karte um semantische Ziele über ein eigenes UI.
Ergänzung der generierten 2D-SLAM-Karte um semantische Ziele über ein eigenes UI.

Technische Herausforderungen

Im Verlauf des Projekts haben sich einige knifflige Herausforderungen ergeben. Hier ein Einblick, was auf dem Weg zu Problemen geführt hat und wie wir ihnen begegnet sind:

Eingeschränkte Genauigkeit von 2D-SLAM und Nav2 im Außenbereich. Sobald die gescannte Punktwolke des LiDAR-Sensors keine Struktur wie Hecken, Mauern, Zäune oder Gebäudekanten mehr trifft, werden Lokalisierung und Orientierung durch 2D-SLAM unzuverlässig. Nav2 läuft dann auch im offenen Raum, etwa auf einer offenen Wiese, nicht mehr richtig. Gegenmaßnahme: Lokalisierung und Orientierung durch zusätzliche RGB-D-Informationen aus der Stereokamera verstärken und die Route so wählen, dass auf mindestens einer Seite durchgehend eine feste Struktur steht. (Das ist nur im Sprint eine Lösung, im Produkt wäre es eine Einschränkung.)

Verlust der Orientierung während der Mapping-Prozedur mit geschlossener Regelschleife. Bei schnellen Wendungen oder beim raschen Schließen einer Schleife lässt sich die dem SLAM-Algorithmus inhärente Drift nicht korrigieren. Sie summiert sich, bis Informationen zu Position und Orientierung verloren gehen. Gegenmaßnahme: eine Pause von 1 bis 2 Sekunden zwischen kleinen Lenkbewegungen, damit der Algorithmus genügend Zeit für die Driftkorrektur hat.

Orientierungsverlust hinsichtlich Position und Richtung am Westufer des Feuersees infolge einer schnellen Ablenkung.
Orientierungsverlust hinsichtlich Position und Richtung am Westufer des Feuersees infolge einer schnellen Ablenkung.

Falsch-positive Routen hinter Glastüren und -fenstern. Transparente Glasscheiben werden von LiDAR-Sensoren nicht als Hindernis erkannt, wodurch in der Karte fälschlicherweise befahrbare Routen hinter dem Glas entstehen. Gegenmaßnahme: Abgleich der erstellten Karte mit geografischen Plänen oder Gebäudegrundrissen sowie manuelle Definition unzugänglicher Fenster, Türen oder Objekte über eine interaktive Benutzeroberfläche.

a: Mit 2D-SLAM erstellte Bürokarte. b: ergänzt um manuell eingegebene semantische Zielorte. c: manuelle Korrektur falsch erkannter Routen hinter Glastüren und Fenstern. d: korrigierte SLAM-Karte, ergänzt um semantische Zielorte.
a: Mit 2D-SLAM erstellte Bürokarte. b: ergänzt um manuell eingegebene semantische Zielorte. c: manuelle Korrektur falsch erkannter Routen hinter Glastüren und Fenstern. d: korrigierte SLAM-Karte, ergänzt um semantische Zielorte.

Funklatenz bei der cmd_vel-Steuerung. Wenn cmd_vel per WLAN an die Steuerung geht, hängt die Regelschleife am Funk. Jeder Aussetzer ist ein Totmann-Stopp, und die Encoder-Odometrie kommt mit variabler Latenz an, was die Fusion verschlechtert statt verbessert. Gegenmaßnahme: Der Computer fährt mit. Über Funk gehen nur Telemetrie und Foxglove, mit einem eigenen Reiserouter auf dem Stuhl statt Park-WLAN.

Was der 2D-LiDAR nicht sieht. Unsichtbar auf einer Scan-Ebene: Bordsteinkanten, Löcher, Absätze, abschüssiges Gelände, überhängende Äste, Tisch- und Bankflächen. Auf unebenem Untergrund „nickt“ oder wippt der Stuhl, der Scan trifft den Boden, und Nav2 sieht Phantomhindernisse. Gegenmaßnahme: zusätzliche Stereo-RGB-D-Kamera zur Verbesserung von Sicht und Objekterkennung bei Lokalisierung und Navigation.

Portrait
Dr. Faezeh Fallah, ML Researcher
„Leicht zu beschaffende Edge-Hardware und ein standardisierter ROS2-Software-Stack ermöglichten dieses Projekt. Der nächste Schritt führt mittels einer Stereokamera die dritte Dimension ein: RGB-D wird die Karte in eine zuverlässige Wahrnehmung der Umgebung verwandeln.”

Fazit

Wo stehen wir heute? Die Schlüsselkomponenten – LiDAR, Stereokameras sowie Standardsoftware für Kartierung und Navigation – sind mittlerweile keine Gegenstände laufender Forschung mehr. Genau deshalb konnte dieser Sprint in nur zwei Wochen abgeschlossen werden. Dennoch haben wir aus der Entwicklung dieses Prototyps wertvolle Erkenntnisse gewonnen – etwa darüber, wie ein rein LiDAR-basiertes 2D-SLAM im offenen Gelände ohne ausreichende Leitplanken die Orientierung verliert. Zudem haben wir nun eine klarere Vorstellung davon, wie sich innerhalb von zwei Jahren ein robuster und zuverlässiger autonomer Rollstuhl als Produkt realisieren lässt. Unsere Erfahrungen ebnen den Weg und haben bereits Ansätze für die Weiterentwicklung und Optimierung des Prototyps geliefert, um ihn fit für den Alltagseinsatz zu machen.

Was sich übertragen lässt

Nichts davon ist spezifisch auf Rollstühle beschränkt. Das zugrundeliegende Prinzip umfasst eine bereits mobile Maschine – ausgestattet mit einem sicherheitszertifizierten Antriebssystem – sowie einen ausgereiften Standard-Navigations-Stack, die über eine vermittelnde Übersetzungsschicht miteinander verbunden sind. Auch wenn der Aspekt der Autonomie von außen betrachtet kostspielig erscheinen mag: Die eigentliche Herausforderung liegt in der Schnittstelle. Dies gilt für fahrerlose Transportsysteme (FTS), Reinigungs- und Baumaschinen, landwirtschaftliche Geräte sowie für (fast) jede bestehende Maschine, die automatisiert werden soll.

Haben Sie ein solches Projekt im Sinn? Lassen Sie uns ein Pilotprojekt starten. Sie liefern die Hypothese, und wir entwickeln daraus in wenigen Tagen einen funktionsfähigen Prototyp. Das Ergebnis ist ein einsatzbereites System sowie eine fundierte Einschätzung dessen, was funktioniert und was nicht.

Wir suchen Partner, die sofort loslegen wollen – sei es mit dem Auftrag, Veränderungen voranzutreiben, mit einer Technologie, die kurz vor dem Sprung vom Labor auf den Markt steht, oder mit einer Idee, für die es bislang noch keine eigene Abteilung gibt.

Wenn Sie wissen wollen, wie viel Realität schon in Ihrer Idee steckt…