Visuelle Sprachmodelle: Wenn Roboter ihre Umgebung verstehen

Eine der größten Herausforderungen der modernen Industrierobotik liegt nicht nur in der Fähigkeit, Informationen aus der Umgebung zu erfassen, sondern auch in der kohärenten und kontextbezogenen Interpretation dieser Informationen. Sehen heißt nicht verstehen. Damit ein Roboter autonom und zuverlässig in realen Umgebungen operieren kann, muss er in der Lage sein, Daten aus verschiedenen Quellen - Kameras, Näherungssensoren, LiDAR, Mikrofonen oder anderen Systemen - zu integrieren und in Echtzeit in umsetzbares Wissen umzuwandeln.

Traditionell stützt sich die Computer Vision auf spezialisierte Modelle, die für bestimmte Aufgaben trainiert werden und in hohem Maße von gelabelten Daten und kontrollierten Szenarien abhängig sind. Diese Ansätze haben sich zwar in genau definierten industriellen Kontexten bewährt, stoßen jedoch an ihre Grenzen, wenn sie mit dynamischen Umgebungen, betrieblichen Schwankungen oder unvorhergesehenen Situationen während des Trainings konfrontiert werden.

In diesem Zusammenhang stellen visuelle Sprachmodelle (VLM) einen Paradigmenwechsel dar. Diese Modelle verbinden in einer einheitlichen Architektur die Fähigkeiten des Computersehens mit der Verarbeitung natürlicher Sprache und können so visuelle Elemente mit hochrangigen sprachlichen Konzepten verknüpfen. Das Ergebnis ist ein umfassenderes Verständnis der Umgebung, das nicht nur auf visuellen Mustern, sondern auch auf Semantik, Kontext und Beziehungen zwischen Objekten und Aktionen beruht.

Aus technischer Sicht ermöglichen VLMs eine bessere Verallgemeinerung über Domänen hinweg, verringern den Bedarf an spezifischem Training für den jeweiligen Anwendungsfall und erleichtern den Wissenstransfer zwischen verschiedenen Szenarien. Ausführlich untersuchte Modelle dieser Art haben eine bemerkenswerte Fähigkeit gezeigt, aus Beschreibungen in natürlicher Sprache auf Bilder zu schließen und umgekehrt.

Bei GMV werden diese Fähigkeiten durch Integration in den Marktplatz uPathWay – der intelligenten Plattform für das Management, die Orchestrierung und die Optimierung heterogener Flotten von Robotern und autonomen Fahrzeugen in industriellen Umgebungen – auf den operativen Bereich übertragen. Die Einbeziehung von VLM öffnet die Tür zu neuen Interaktions- und Überwachungsszenarien und bietet über die klassische Wahrnehmung hinaus eine zusätzliche Ebene kontextbezogener Intelligenz.

Ermöglicht werden unter anderem folgende Anwendungsfälle:

• Roboterüberwachung mit natürlicher Sprache, unterstützt durch visuelle Informationen, die eine intuitivere Mensch-Roboter-Interaktion gestatten und die technischen Hürden für Bediener und Aufsichtspersonen verringern.
• Automatische Erstellung von Beschreibungen des Betriebszustands oder von Vorfällen auf der Grundlage von Bildern oder Videosequenzen, die von den Robotern selbst aufgenommen wurden.
• Visuelle Validierung von Aufgaben, wie z. B. die automatische Überprüfung, ob eine Ladung, eine Palette oder ein geprüfter Gegenstand korrekt positioniert ist oder sich im erwarteten Zustand befindet.
• Kontextbasierte Erkennung von Anomalien, um unerwartete Situationen auszumachen, die in früheren Regeln oder Modellen nicht explizit definiert waren.
• Natürlichere und flexiblere Schnittstellen, die Aufforderungen in natürlicher Sprache mit visuellen Informationen aus der Umgebung verknüpfen, um die Entscheidungsfindung zu unterstützen.

Diese Fähigkeiten tragen zu einer autonomeren, erklärbaren und skalierbaren Robotik bei, die in der Lage ist, sich an komplexe, sich verändernde und höchst unsichere industrielle Umgebungen anzupassen. Über die Automatisierung von Aufgaben hinaus ermöglichen VLMs den Übergang zu Systemen, die nicht nur ausführen, sondern auch interpretieren und kommunizieren, was um sie herum geschieht.

GMV arbeitet weiterhin an der Integration fortschrittlicher Wahrnehmung und kontextbezogener Intelligenz als Schlüsselfaktoren für die industrielle Automatisierung der Zukunft, mit dem Ziel, diese Technologien von der Forschung in reale, betriebliche Anwendungen zu überführen.

Autor: Ángel C. Lázaro