Die Methoden der Künstlichen Intelligenz (KI) und dabei insbesondere des Maschinellen Lernens (ML) finden mehr und mehr auch ihren Einsatz in der Robotik. Dabei stützen sich besonders viele Ansätze auf die Übertragbarkeit von in der Simulation gelernten Abläufen auf die Realität (Sim2Real Transfer).

Ein besonders populärer Ansatz ist die Domain Randomization, also die Simulation mehrerer verschiedener Umgebungen, die durch ihre Varianz in unsicheren Variablen, z.B. der genauen Reibungskoeffizienten oder Hintergrundtexturen, die gelernten Aktionen robuster gegen Performanzverlust beim Transfer in die echte Welt machen soll.

Dieser Ansatz hat zwei Schwächen: Erstens muss eine anwendungsbezogene Simulationsumgebung modelliert werden, zurzeit meistens aus CAD Modellen. Zweitens muss die Variabilität verschiedener Einflüsse anwendungsbezogen modelliert werden. Diese beiden Arbeitsschritte kosten sehr viel Zeit. Der zweite Schritt wird meistens automatisiert indem zu viele Faktoren gleichzeitig und zu stark variiert werden.

Das Vorhaben MeSSeR verfolgt ein Zusammenwirken von Mensch und Maschine, welches die Varianz gezielt auf die Anwendung und Kontext schärft, Fachwissen in die Simulation einbringt, die Bereitstellungszeit einer anwendungsbezogenen Simulation signifikant verkürzt, und somit schneller zu einem verlässlicheren Ergebnis führt.

In MeSSeR wird untersucht wie die Mensch-unterstützte Synthese von Simulationsumgebungen zum erfolgreichen Transfer von gelernten Handlungen in die echte Welt beiträgt und wie dieser Ansatz durch den Einsatz erweiterter und virtueller Realitäten (AR/VR) als Ergebnis eine direkten Interaktion eines Menschen mit einer Simulationsumgebung umgesetzt werden kann. Diese Art der Interaktion sichert eine intuitive Interaktion und erleichtert die räumliche Wahrnehmung der simulierten Umgebung und deren Variabilitätsmodell durch den Menschen.

Genauer soll in MeSSeR eine Werkzeugkette entworfen, implementiert und evaluiert werden, die das Erstellen einer Simulationsumgebung anhand eines Scans der Umgebung durch den Roboter, das semantische Annotieren bzw. spezifisches visuelles Markup der Simulation durch einen Menschen in AR/VR, die visuelle Verifikation der eingegebenen Variabilität, sowie das Generieren von Daten aus der aus dieser Variabilität zufällig parametrisierten Simulationen zum Maschinellen Lernen von Roboteraktionen in der Umgebung ermöglicht.