Modele języka wizualnego – kiedy roboty rozumieją swoje otoczenie

Jednym z głównych wyzwań zaawansowanej robotyki przemysłowej jest nie tylko zdolność do rejestrowania informacji z otoczenia, ale także do interpretowania ich w spójny i osadzony w kontekście sposób. Widzieć nie znaczy rozumieć. Aby robot mógł działać autonomicznie oraz niezawodnie w rzeczywistym środowisku, musi być w stanie integrować dane z wielu źródeł – kamer, czujników zbliżeniowych, LiDAR, mikrofonów lub innych systemów – i przekształcać je w użyteczną wiedzę w czasie rzeczywistym.

Tradycyjnie wizja komputerowa opierała się na wyspecjalizowanych modelach, wyszkolonych do określonych zadań i w dużym stopniu zależnych od kategoryzowanych danych oraz kontrolowanych scenariuszy. Chociaż podejścia te okazały się skuteczne w dobrze zdefiniowanych kontekstach przemysłowych, mają one wyraźne ograniczenia w obliczu dynamicznych środowisk, zmienności operacyjnej czy nieprzewidzianych sytuacji w ramach nauki.

W tym kontekście wizualne modele językowe (VLM) stanowią zmianę paradygmatu. Modele te łączą wizję komputerową i możliwości przetwarzania języka naturalnego w ujednoliconej architekturze, umożliwiając kojarzenie elementów wizualnych z koncepcjami językowymi wysokiego poziomu. Rezultatem jest bardziej dogłębne zrozumienie tego, co dzieje się w otoczeniu, oparte nie tylko na wzorcach wizualnych, ale także na semantyce, kontekście i relacjach między obiektami oraz działaniami.

Z technicznego punktu widzenia VLM pozwalają na lepsze uogólnienie w różnych dziedzinach, zmniejszają potrzebę szkolenia specyficznego pod kątem danego przypadku użycia i ułatwiają transfer wiedzy między różnymi scenariuszami. Obszernie badane modele tego typu wykazały niezwykłą zdolność do wnioskowania na podstawie obrazów oraz opisów w języku naturalnym i odwrotnie.

W GMV możliwości te są przenoszone do obszaru operacyjnego poprzez integrację z marketplace uPathWay – inteligentną platformą do zarządzania flotami robotów oraz pojazdów autonomicznych w środowiskach przemysłowych, a także ich koordynacji i optymalizacji. Wdrożenie VLM otwiera drzwi do nowych scenariuszy interakcji i monitoringu, zapewniając dodatkową warstwę kontekstowej inteligencji na klasycznej percepcji.

Do najważniejszych wdrożonych przypadków użycia należą:

• Nadzór nad robotami przy użyciu języka naturalnego wspieranego przez informacje wizualne, umożliwiający bardziej intuicyjną interakcję człowiek–robot i zmniejszający barierę techniczną w ramach udziału operatorów i nadzorujących.
• Automatyczne generowanie opisów stanu operacyjnego lub incydentów na podstawie obrazów bądź sekwencji wideo przechwyconych przez same roboty.
• Wizualna walidacja zadań, np. automatyczne sprawdzanie, czy ładunek, paleta lub kontrolowany element są prawidłowo umieszczone albo znajdują się w oczekiwanym stanie.
• Kontekstowe wykrywanie anomalii, identyfikujące nieoczekiwane sytuacje, które nie zostały wyraźnie zdefiniowane w poprzednich regułach czy modelach.
• Bardziej naturalne i elastyczne interfejsy, łączące podpowiedzi w języku naturalnym z informacjami wizualnymi z otoczenia w celu wspierania procesu podejmowania decyzji.

Możliwości te przyczyniają się do bardziej autonomicznej, zrozumiałej i skalowalnej robotyki, zdolnej do adaptacji do złożonych, zmieniających się oraz obciążonych wysokim stopniem niepewności środowisk przemysłowych. Poza automatyzacją zadań, VLM umożliwiają przechodzenie na systemy, które nie tylko wykonują zadania, ale także interpretują i komunikują to, co dzieje się wokół nich.

GMV kontynuuje prace nad integracją zaawansowanej percepcji i inteligencji kontekstowej jako kluczowych czynników umożliwiających przyszłą automatyzację przemysłową, mając na celu przeniesienie tych technologii z poziomu badań do rzeczywistych zastosowań operacyjnych.

Autor(ka): Ángel C. Lázaro