GMV nimmt die Algorithmusüberwachung in Angriff und gewinnt den JISA-2026-Wettbewerb für Prompts

GMV beteiligte sich mit einem Vortrag darüber, wie sich mit künstlicher Intelligenz verbundene Schäden im Gesundheitswesen vermeiden lassen, an den XXXIII. Nationalen Tagen für Innovation und Gesundheit in Andalusien. Zudem gewann der Vorschlag von Miguel Ferreiro, AI Governance Specialist – Healthcare, den Prompt-Wettbewerb der Tagung.

Die JISA 2026 fanden vom 21. bis 23. Oktober in Torremolinos unter dem Motto „Bedeutungsvolle Beziehungen“ statt und brachten Fachleute der Branche zusammen, um über Innovation und den digitalen Wandel im nationalen Gesundheitssystem zu diskutieren.

Am 21. Oktober stellten Juan Carlos Sánchez Rosado, Health Business Executive bei GMV, und Pol Pérez i Sust, Leiter des Bereichs Informationssysteme beim Servei Català de la Salut (CatSalut), Fall 1 der Plenarsitzung 1 vor: Algorithmische Überwachung versus KI-Trogenie. In der Sitzung wurden die möglichen Schäden analysiert, die durch Fehler, Verzerrungen oder unvorhergesehenes Verhalten von Algorithmen der künstlichen Intelligenz in der medizinischen Praxis entstehen können.

Zu den behandelten Risiken zählen Prognosefehler, übermäßiges Vertrauen in automatisierte Empfehlungen, der Verlust des klinischen Urteilsvermögens, Datenschutzprobleme sowie Ungleichheiten zwischen Patientengruppen. Um diese möglichen Schäden zu beschreiben, wurde der Begriff „KI-Trogenie“ eingeführt und die Notwendigkeit einer kontinuierlichen Überwachung der Algorithmen hervorgehoben, die in ihrer Zielsetzung mit der Pharmakovigilanz vergleichbar ist.

In dem Vortrag wurde ein Fallbeispiel zur Unterstützung bei der Überweisung von der Primärversorgung an die Rheumatologie vorgestellt. Ein unerwarteter Anstieg junger Patienten – im Alter von 18 bis 35 Jahren –, die in den Trainingsdaten nur unzureichend berücksichtigt waren, führte zu falschen Entscheidungen, diese Patienten nicht zu überweisen. Durch die Überwachung konnten Abweichungen, falsch-negative Ergebnisse und mögliche Probleme hinsichtlich der Chancengleichheit erkannt und deren Ursachen in Zusammenarbeit mit den klinischen und technischen Teams analysiert werden.

In der Sitzung wurde betont, dass die Sicherheit von KI nicht mit ihrer anfänglichen Validierung endet. Die Modelle müssen anhand repräsentativer Stichproben validiert, während ihres tatsächlichen Einsatzes überwacht, bei Bedarf neu kalibriert und durch Prozesse zur Steuerung, Rückverfolgbarkeit und Kontrolle abgesichert werden. Zudem wurde die Bedeutung von Normen wie ISO 42001 für die Integration der KI-Governance in die Prozesse von Organisationen hervorgehoben.

Die Teilnahme von GMV an der JISA 2026 wurde auch im Rahmen des Prompt-Wettbewerbs gewürdigt, der zur Lösung eines Problems des Nationalen Gesundheitssystems (SNS) ausgeschrieben worden war. Als Sieger ging dabei der Vorschlag von Miguel Ferreiro, AI Governance Specialist – Healthcare, hervor.

Durch seine Mitwirking an der Sitzung und die Auszeichnung im Rahmen des Wettbewerbs leistete GMV einen Beitrag zu einer für die Zukunft der digitalen Gesundheit entscheidenden Debatte: Wie lässt sich künstliche Intelligenz verantwortungsbewusst einsetzen und dabei sicherstellen, dass sie sicher, gerecht und wirksam bleibt?