Glossar · Recht und Sicherheit

Was ist KI-Sicherheit?

KI-Systeme haben eigene Schwachstellen: eingeschleuste Anweisungen in Mails oder PDFs, die das Modell zu etwas anderem bringen, Rechte, die nicht vererbt wurden, und Daten Dritter, die in Antworten auftauchen. Ein klassischer Virenscanner sieht davon nichts. Deshalb prüfen wir diese Wege vor jedem Go-live einzeln.

Auch genannt: Prompt Injection, eingeschleuste Anweisung, Datenabfluss

Stand:
KI-generiertes Bild: Eine einzelne große Glaskarte mit Kupferkante im Vordergrund, dahinter unscharf eine Schublade voller kleinerer Karten
Ein Begriff, eine Seite, eine Erklärung ohne Fachjargon. Danach wissen Sie, ob er für Ihr Büro überhaupt eine Rolle spielt.

Was das für Ihr Büro heißt

Die Frage ist nicht, ob jemand ins Netz kommt, sondern was die KI ihm dann erzählt. Das lässt sich nur beantworten, indem man es mit Erlaubnis versucht.

Ein Fall aus dem Alltag

Ein Dokument im Bestand enthält eine versteckte Anweisung an das Modell. Wird es bei einer Frage mitgelesen, kann es das Verhalten des Systems beeinflussen. Das klingt weit hergeholt und ist der Grund, warum Inhalte aus dem Bestand als Daten behandelt werden müssen und nicht als Anweisung.

Wie wir es umsetzen

Wir testen mit normalen Nutzerkonten, ob sich mehr sehen lässt als erlaubt, schleusen Anweisungen in Dokumente ein und prüfen Server und Schnittstellen. Danach Bericht, Behebung mit Ihrem Team, Nachtest.

Der häufigste Irrtum

Oft verwechselt mit klassischer IT-Sicherheit. Zugänge, Verschlüsselung und Updates gelten weiterhin. Dazu kommen zwei neue Fragen: ob sich das Modell durch Eingaben manipulieren lässt, und ob die Rechtetrennung auch bei Zusammenfassungen hält.

Grenze

Wo die Grenze liegt

Vollständige Sicherheit gegen eingeschleuste Anweisungen gibt es nach heutigem Stand nicht. Man senkt das Risiko durch Rechte, Filter und die Regel, dass nichts ohne Freigabe nach außen geht.

Wo das bei uns vorkommt

Weiterlesen

Verwandte Begriffe

  • Recht und Sicherheit

    Penetrationstest

    Jemand versucht mit Erlaubnis einzubrechen und schreibt auf, wie es ging

  • Architektur und Betrieb

    Rechtevererbung

    Jeder sieht nur, was er sehen darf, auch wenn er die KI fragt

  • KI-Grundlagen

    KI-Agent

    Eine KI, die mehrere Schritte plant und Werkzeuge benutzt

  • KI-Grundlagen

    Werkzeugaufruf

    Wie eine KI andere Programme bedient, statt nur Text zu schreiben

Der nächste Schritt

Unser Ziel: keine Suchzeit mehr.

Sie fragen, die belegte Antwort steht mit Quelle da. Wie das geht, zeigen wir im Webinar: live mit Ronja, Eric und Max, mit echten Fragen aus Planungsbüros, gezeigt an einem Beispiel-Archiv. 60 Minuten, online, kostenlos. Nur für Planungs-, Ingenieur- und Architekturbüros.

Zum Webinar am 1. DezemberLieber direkt sprechen