20250601 LLM-Hijacking?

01.06.2025 LLM-Hijacking?

Gefahren beim Umgang mit KI

Wieder gibt es ein neues Wort, das man kennen sollte, wenn einem die Sicherheit der eigenen Daten wichtig ist. Wer einfach aus Spaß oder Interesse mal "alle" KI-Systeme im Internet ausprobieren möchte, gerät leicht in so eine Falle.

Ursache für diese Fallen sind unsauber programmierte Schnittstellen zu den LLMs, den Large Language Models und die fehlende Sorgfalt bei der Sicherung der Schlüsselpaare für eine verschlüsselte Kommunikation.

Das bedeutet nicht nur. das die persönlichen Daten der Nutzer in fremde Hände gelangt sind, sondern oft werden (teuren) Rechnerressourcen der LLMs von Fremden genutzt. Dann gibt es zwei Szenarien: Entweder versuchen die Anbieter die Kosten bei den gehackten Nutzern einzutreiben oder sie stehen u.U. selbst vor der Insolvenz.

Supergau in Sachen Datensicherheit

Der verlinkte Artikel beschreibt zwei größere Vorfälle der letzten Monate. "Im Januar wurde das chinesische Sprachmodell DeepSeek Ziel eines Angriffs: Die gestohlenen API-Schlüssel ermöglichten es Angreifern, mehr als zwei Milliarden Tokens abzufragen" und kurz darauf "traf es den beliebten Chatbot-Aggregator OmniGPT, der Nutzer mit verschiedenen LLMs verbindet. Bei einem umfassenden Leak wurden über 34 Millionen Nutzernachrichten sowie Tausende API-Schlüssel kompromittiert."

Das bedeutet für Firmen, die ihre Geschäftsprozesse an solche LLMs binden, sie laufen Gefahr von einem Moment auf den anderen, dass die Prozesse bei einem Hack still stehen oder noch schlimmer, dass ihre Firmendaten oder die ihrer Kunden verloren gehen. Und dann droht noch ein weiteres Szenario: Wenn die KI nicht nur triviale Auskunfts- und Bestellaktionen ausführt, sondern die eigenen Geschäftsprozesse in einem bestimmten Maße auch "lenken" kann, z.B. durch Zugriffe auf den Einkauf oder die Produktion, dann können Angreifer sie auch für ihre Zwecke missbrauchen.

Damit wird der Blick auf ein bisher unbeachtetes Gebiet der Cybersicherheit gelenkt. System-Prompts, also die Skripte, die einem GPT sagen, wie es sich verhalten soll sind überaus wertvoll und müssen vor den Endnutzern verborgen bleiben, denn die Angreifer starten stets als Nutzer. Dies steht wiederum unserer Forderung nach Transparenz und Open Source entgegen!

Der Schneeball-Effekt: Kleine Änderungen in den System-Prompts können bereits große Änderungen in den Antworten eines KI Systems bewirken. Es kann dann sehr schnell das Gegenteil von dem tun, was man erwartet hat ... Wir müssen uns schnell von der Vorstellung verabschieden, dass KI nur mal wieder ein neue Technik sei. Der verlinkte Artikel fast es so zusammen: "Sprachmodelle verhalten sich nicht wie klassische Software. Sie lernen, verallgemeinern und treffen Entscheidungen, deren Herleitung selbst Fachleute oft nicht vollständig erklären können."

Aber der verlinkte Artikel beschreibt auch noch 5 fundamentale Sicherheitsstrategien, die man bei der An- und Verwendung von KI Programmen besonders beachten sollte. Lesen und anwenden!

Mehr dazu bei https://www.all-about-security.de/ihre-ki-ist-nicht-sicher-wie-llm-hijacking-und-prompt-leaks-eine-neue-welle-von-datenverstoessen-ausloesen/

Kommentar: RE: 20250601 LLM-Hijacking?

Neue Google-KI ermöglicht Flut an falschen Nachrichten-Clips
Täuschend echte KI-Videos von News-Events und Protesten: Googles neuer Veo-3-Generator macht das bedenklich einfach. Laien können sie kaum noch von echten Aufnahmen unterscheiden. Neue Google-KI ermöglicht Flut an falschen Nachrichten-Clips
https://www.zdfheute.de/digitales/google-ki-video-veo3-desinformation-news-gefahr-100.html

Be., 01.06.25 11:32