Un dels principals desafiaments de la robòtica industrial avançada no resideix únicament en la capacitat de captar informació de l’entorn, sinó a interpretar-la de manera coherent i contextual. Veure no és comprendre. Perquè un robot pugui operar de manera autònoma i fiable en entorns reals, ha de ser capaç d’integrar dades procedents de múltiples fonts —càmeres, sensors de proximitat, LiDAR, micròfons o altres sistemes— i transformar-les en coneixement accionable en temps real.

Tradicionalment, la visió artificial s’ha basat en models especialitzats, entrenats per a tasques concretes i amb un alt grau de dependència de dades etiquetades i escenaris controlats. Si bé aquestes metodologies han demostrat la seva eficàcia en contextos industrials ben definits, presenten limitacions clares quan s’enfronten a entorns dinàmics, variabilitat operativa o situacions no previstes durant l’entrenament.

En aquest context, els Visual Language Models (VLM), o models de llenguatge visual, estan suposant un canvi de paradigma. Aquests models combinen capacitats de visió per computador i processament del llenguatge natural en una arquitectura unificada, la qual cosa els permet associar elements visuals amb conceptes lingüístics d’alt nivell. El resultat és una comprensió més rica de l’entorn, basada no només en patrons visuals, sinó també en semàntica, context i relacions entre objectes i accions.

Des d’un punt de vista tècnic, els VLM permeten generalitzar millor entre dominis, reduir la necessitat d’entrenament específic per a cada cas d’ús i facilitar la transferència de coneixement entre escenaris diferents. Models d’aquesta mena, àmpliament estudiats, han demostrat una capacitat notable per raonar sobre imatges a partir de descripcions en llenguatge natural, i viceversa.

A GMV, aquestes capacitats s’estan traslladant a l’àmbit operatiu mitjançant la seva integració en el mercat web d’uPathWay, la plataforma intel·ligent per a la gestió, l’orquestració i l’optimització de flotes heterogènies de robots i vehicles autònoms en entorns industrials. La incorporació de VLM obre la porta a nous escenaris d’interacció i supervisió, aportant una capa addicional d’intel·ligència contextual sobre la percepció clàssica.

Entre els casos d’ús que s’estan habilitant destaquen:

• Supervisió de robots mitjançant llenguatge natural amb el suport d’informació visual, la qual cosa facilita una interacció humà-robot més intuïtiva i redueix la barrera tècnica per a operadors i supervisors.
• Generació automàtica de descripcions de l’estat operatiu o d’incidències, a partir d’imatges o seqüències de vídeo captades pels mateixos robots.
• Validació visual de tasques, com la comprovació automàtica que una càrrega, un palet o un element inspeccionat està correctament posicionat o en l’estat esperat.
• Detecció d’anomalies basada en context, que identifica situacions inesperades que no estaven explícitament definides en regles o models previs.
• Interfícies més naturals i flexibles, que combinen prompts en llenguatge natural amb informació visual de l’entorn per ajudar en la presa de decisions.

Aquestes capacitats contribueixen a una robòtica més autònoma, explicable i escalable, capaç d’adaptar-se a entorns industrials complexos, canviants i amb un alt grau d’incertesa. Més enllà de l’automatització de tasques, els VLM permeten avançar cap a sistemes que no només executen, sinó que també interpreten i comuniquen el que passa al seu voltant.

GMV continua treballant en la integració de percepció avançada i intel·ligència contextual com a habilitadors clau de l’automatització industrial del futur, amb l’objectiu d’apropar aquestes tecnologies des de l’àmbit de la recerca fins a aplicacions reals i operatives.

Autor: Ángel C. Lázaro