Slopsquatting: eine stille, von LLM-Halluzinationen verursachte Bedrohung

Das Aufkommen von Werkzeugen der generativen künstlichen Intelligenz hat die Art und Weise, wie wir Software entwickeln, in sehr kurzer Zeit grundlegend verändert. Heutzutage ist es nicht ungewöhnlich, dass Fachleute mit Hilfe von Assistenten mit künstlicher Intelligenz (KI) programmieren, die direkt in ihre Entwicklungsumgebungen integriert sind (z. B. Github Copilot, Cursor oder das berühmte chatGPT), Codefragmente vorschlagen, Fehler erklären und uns sogar helfen, komplexe Bibliotheken oder API zu verstehen, ohne den Editor zu verlassen.

Im täglichen Leben vieler Menschen geführt, die mit Code arbeiten, hat dies einen Paradigmenwechsel bewirkt. Die Auswirkungen waren dabei so deutlich, dass selbst etablierte Plattformen wie Stack Overflow einen erheblichen Rückgang des Datenverkehrs und der Beteiligung meldeten. Der Grund? Viele Entwickler, vor allem jüngere, ziehen es vor, ihre Fragen an ein Sprachmodell zu stellen, anstatt in herkömmlichen Foren zu suchen.

Aber es gibt nicht nur gute Nachrichten. Diese Werkzeuge machen uns zwar flexibler, aber sie haben auch neue Herausforderungen mit sich gebracht, die wir nicht ignorieren können. Eine davon - vielleicht die charakteristischste für diese Technologie - sind die so genannten„Halluzinationen“.

Wenn die KI einfach etwas erfindet

Eine Halluzination liegt in diesem Zusammenhang vor, wenn ein Sprachmodell eine Antwort erzeugt, die zwar überzeugend klingt, aber nicht korrekt oder gar völlig falsch ist [1]. Bei diesem Phänomen handelt es sich nicht um einen einmaligen Fehler, sondern um ein inhärentes Merkmal der Funktionsweise großer Sprachmodelle (LLMs), das den von ihnen generierten Texten eine gewisse Kreativität verleihen sollen[2].

Diese Modelle haben aber weder ein wirkliches Verständnis der Welt, noch verfügen sie im Allgemeinen über Mechanismen, um zu überprüfen, ob sie etwas nicht „wissen“ [3]. Sie sind darauf trainiert, sprachliche Muster auf statistische Weise zu vervollständigen, und das bedeutet, dass sie bei einer ungewöhnlichen oder schlecht formulierten Anfrage eventuell eine erfundene, aber gut formulierte Antwort geben[4].

Im Zusammenhang mit der Programmierung, wo sich viele der Fragen auf völlig neue Situationen beziehen, kann dies zu Vorschlägen für Funktionen, Klassen oder sogar ganze Pakete führen , die zwar legitim klingen, aber in Wirklichkeit nicht existieren. Und genau hier wird das Problem noch ernster.

Eine neue Bedrohung entsteht: Slopsquatting

Der Begriff Slopsquatting wurde von Seth Larson, einem Sicherheitsentwickler bei der Python Software Foundation, geprägt. Er beschreibt eine bösartige Technik, die sich auf genau solche Halluzinationen stützt: Wenn ein KI-Modell ein Paket vorschlägt, das nicht existiert, kann ein Angreifer es in öffentlichen Repositories wie PyPI oder npm registrieren , so dass ein ahnungsloser Programmierer dann versehentlich eine Version mit bösartigem Code hochladen kann.

Im Gegensatz zum bekannten Typosquatting, bei dem die Nutzer mit gewöhnlichen Tippfehlern spielen, wird beim Slopsquatting die „Verwechslung“ durch das Modell selbst verursacht. Dabei handelt es sich um einen ausgefeilteren Ansatz, weil er das Vertrauen ausnutzt, das wir in die von diesen intelligenten Werkzeugen generierten Vorschläge setzen. Ein Entwickler, der sich blind auf KI-Vorschläge verlässt und sie in sein Projekt einbezieht, öffnet damit möglicherweise eine unerwünschte Tür zu seinem System.

Was sagen die Forscher?

In einer kürzlich von US-Universitäten (u. a. Virginia Tech und University of Texas in San Antonio) durchgeführten Studie [5] wurden mehr als eine halbe Million mit KI generierter Codeschnipsel analysiert. Zu den Schlussfolgerungen des Berichts gehören:

•  19,7 % der von den Modellen suggerierten Pakete waren nicht vorhanden.
• Open-Source-Modelle wie CodeLlama und WizardCoder wiesen höhere Halluzinationsraten (bis zu 21,7 %) als kommerzielle Modelle wie GPT-4 Turbo (3,59 %) auf.
• Oft waren dies wiederkehrende und anhaltende Halluzinationen: 43 % traten in den 10 wiederholten Durchläufen der gleichen Abfragen auf.
• 38 % der erfundenen Paketnamen waren echten Paketen überraschend ähnlich und manchmal sogar in anderen Programmiersprachen gültig, was die Wahrscheinlichkeit erhöht, dass sie unbemerkt bleiben.

Diese Zahlen geben uns ein klares Bild: Es handelt sich nicht um punktuelle Fehler, sondern um ein Muster. Und dieses Muster kann als Schwachstelle ausgenutzt werden, um die Software-Lieferkette zu infiltrieren. Somit kann dies bei allen Projekten unabhängig von ihrer Größe schwerwiegende Folgen nach sich ziehen.

Was bedeutet das für uns, die wir Software entwickeln?

Bei GMV sind wir uns der Vorteile bewusst, die KI-Hilfsmittel bieten können, aber wir haben auch ihre derzeitigen Grenzen untersucht, da sie bei weitem nicht unfehlbar sind [5]. Wir nutzen sie als Hilfsmittel, um effizienter zu werden, und haben gleichzeitig ein sehr kritisches Auge auf die Ergebnisse, die sie liefern. 

Zwar gibt es keine Patentrezepte, aber wir wenden eine Reihe bewährter Verfahren an, um die Risiken zu minimieren:

• Wir überprüfen manuell das Vorhandensein und die zuverlässige Herkunft jedes von einer KI vorgeschlagenen Pakets.
• Wir verwenden Tools zur Analyse von Abhängigkeiten , die potenzielle Schwachstellen erkennen und uns auf verdächtige Komponenten aufmerksam machen.
• Wir testen den Code in sicheren Umgebungen , bevor wir ihn in reale Systeme integrieren.
• Wir schulen unsere Teamskontinuierlich in Sachen Sicherheit und verantwortungsvollem Umgang mit KI-Tools.
• Wir ermutigen zur gegenseitigen Überprüfung, insbesondere bei der Einführung von KI-gestütztem Code.

Diese Kombination aus Technologie und menschlichem Urteilsvermögen ist von grundlegender Bedeutung, um die Sicherheit und Qualität unserer Entwicklungen zu gewährleisten.

Wie können wir dieses Risiko abmildern?

Wir bei GMV erforschen und nutzen diese Werkzeuge weiterhin mit Begeisterung, ohne dabei jedoch unsere Verantwortung als Entwickler kritischer Systeme aus den Augen zu verlieren. Wie bei jeder Technologie hängt die sinnvolle Nutzung von unseren Entscheidungen ab. KI kann ein großartiger Verbündeter sein, aber sie muss mit menschlichem Urteilsvermögen angewendet werden. Denn jenseits von cleveren Vorschlägen oder automatisierten Codezeilen sind es vor allem das professionelle Urteilsvermögen, die Erfahrung und eine gut gemachte Arbeit, die den Unterschied ausmachen.

Autor: Dr. David Miraut

REFERENZEN:

[1] R. Tenajas-Cobo and D. Miraut-Andrés, ‘Riesgos en el uso de Grandes Modelos de Lenguaje para la revisión bibliográfica en Medicina’, Investig. En Educ. Médica, Vol. 13). Nr. 49, Art. Nr. 49, Jan. 2024, doi: 10.22201/fm.20075057e.2024.49.23560.

[2] R. Tenajas and D. Miraut, ‘The 24 Big Challenges of Artificial Inteligence Adoption in Healthcare: Review Article’, Acta Medica Ruha, vol. 1). Nr. 3, Art. Nr. 3, Sep. 2023, doi: 10.5281/zenodo.8340188.

[3] R. Tenajas and D. Miraut, ‘The Risks of Artificial Intelligence in Academic Medical Writing’, Ann. Fam. Med., Nr. 2023, S. eLetter, Feb. 2024.

[4] R. Tenajas, D. Miraut, R. Tenajas, and D. Miraut, ‘El pulso de la Inteligencia Artificial y la alfabetización digital en Medicina: Nuevas herramientas, viejos desafíos’, Rev. Medica Hered., Bd. 34), Nr. 4, S. 232-233, Okt. 2023, doi: 10.20453/rmh.v34i4.5153.

[5] J. Spracklen, R. Wijewickrama, A. H. M. N. Sakib, A. Maiti, B. Viswanath, and M. Jadliwala, ‘We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs’, Mar. 02, 2025, arXiv: arXiv:2406.10279. doi: 10.48550/arXiv.2406.10279.