Seitenpfad:

AR-Gestensteuerungssystem für Mensch-Roboter-Kollaboration

Entwicklung eines AR-Systems für gestenbasierte Mensch-Roboter-Kollaboration

 
Augmented Reality Gestaltung Robotik
AR-Gestensteuerungssystem für Mensch-Roboter-Kollaboration. Bild: Timo Holzmann
07.03.2024 - 03.07.2025

Projektbeschreibung

Die Integration von Robotik in Automatisierungsprozesse ist heute in modernen Produktionsumgebungen weit verbreitet, verlangt jedoch nach wie vor spezifische Programmierkenntnisse von menschlichen Bedienern. Genau hier setzt das Forschungsprojekt Cobots für mein Handwerk im Rahmen des KI-Produktionsnetzwerks der THA an.

Im Rahmen des Projekts wurde ein AR-System entwickelt, das die Interaktion zwischen Mensch und Roboter deutlich vereinfacht. Der gesamte Prozess der Aufgabenübergabe an kollaborative Roboter (Cobots) erfolgt hierbei ohne Programmierung. Dafür entstand eine Benutzeroberfläche, die Funktionen grafisch, kontextbezogen und symbolbasiert darstellt. Ziel war es, die Kommunikation zwischen Mensch und Roboter direkter zu gestalten, die Einbindung menschlicher Arbeitskräfte zu stärken und deren Fähigkeiten bewusst in den Arbeitsablauf zu integrieren.

Über einfache Handgesten können Nutzer Arbeitsbereiche für den Roboter definieren, während ihnen gleichzeitig relevante, kontextbezogene Prozessinformationen angezeigt werden. Realisiert wurde dieses Interaktions- und Visualisierungssystem mittels der AR-Brille Magic Leap2, die eine nahtlose Verbindung zwischen digitalem und realem Arbeitsumfeld und der Mobilität der Nutzer ermöglicht.

Beteiligter Schwerpunkt des KI-Produktionsnetzwerks an der Technischen Hochschule Augsburg Mensch-Maschinen-Interaktion mit intelligenten Systemen

Demonstration des AR-Systems

 
 
Steuerung des Cobots über ein Tablet
 
Ungeschliffener Buchstabe
Geschliffener Buchstabe

Publikationen

 

M. Schmidt and C. Meitinger, “Convenience vs. Reliability? Evaluation of Human-Robot Interaction Preferences in a Production Environment,” in Human-Computer Interaction, vol. 14685, M. Kurosu and A. Hashizume, Eds., in Lecture Notes in Computer Science, vol. 14685. , Cham: Springer Nature Switzerland, 2024, pp. 168–179. doi: 10.1007/978-3-031-60412-6_13.

M. Schmidt and C. Meitinger, “Leveraging Agent-Based Reasoning for Natural Task Delegation on the Shop Floor,” in Studies in Computational Intelligence, Cham: Springer Nature Switzerland, 2025, pp. 41–54. doi: 10.1007/978-3-031-85316-6_4.

O. Toltinova, M. Hradecsni, M. Schmidt, C. Meitinger, and A. Muxel, “XR-Schnittstelle statt Robot Teach Pendant - Durchgängig von der Aktivierung des Roboters bis zur Delegation von komplexen Aufgaben am Anwendungsfall eines Schleifprozesses,” GfA-Press, 2024, p. 400 KB, 6 pages. doi: 10.60524/OPUS-1887.

Aus dem Projekt

 

Kontakt

 

Hybrid Things Lab

Fakultät für Gestaltung der Technischen Hochschule Augsburg

Homepage (extern)

 
Trennlinie

Weiterführende Informationen

 
Logo der Hightech Agenda Bayern
Gefördert durch die Hightech Agenda Bayern des Bayerischen Staatsministeriums für Wissenschaft und Kunst.