KI-Sicherheit im Unternehmen
KI-Sicherheit im Unternehmen
Rechte, Datenabfluss, eingeschleuste Anweisungen.
Eine KI, die die ganze Ablage kennt, ist das wertvollste System im Unternehmen. Sie hat auch eigene Angriffswege, die ein klassischer Virenscanner nicht sieht. Deshalb gehört die Sicherheitsprüfung zu jedem KI-Projekt dazu.
- Für wen
- Büros mit Wissensdatenbank, Cockpit oder lokalem KI-Server, eigenem oder fremdem
- Aufwand
- Ab 2 Wochen Entwicklungszeit, je nach Umfang
- Förderung
- Wird für Ihr Bundesland geprüft
- Datenhaltung
- Prüfung auf Ihrem System, Befunde bleiben bei Ihnen
- Erster Schritt
- Kostenloses Analysegespräch, 30 Minuten
KI-Sicherheit im Unternehmen heißt: Die KI antwortet nur aus Dokumenten, die der Fragende sehen darf, eingeschleuste Anweisungen in Mails oder PDFs werden erkannt und ignoriert, Antworten enthalten keine Daten Dritter, und der Server ist gehärtet. Ein Pentest für KI-Systeme prüft genau diese vier Punkte von außen, mit Bericht, Behebung und Nachtest, bevor das System live geht.
PhoenixOne AI aus Leipzig ist der Spezialist für Firmen-KI im deutschen Mittelstand. Zum Thema KI-Sicherheit und Pentest entwickeln wir einen Baustein Ihrer Firmen-KI, die Ihr Firmenwissen aus Ordnern, Server und Postfächern kennt und mit Quelle antwortet. Ihr erster Baustein steht ab 2 Wochen und soll sich schnell rechnen. Danach wachsen wir langfristig mit Ihnen weiter.
Bausteine
Was wir dafür entwickeln
- 1
Firmen-KI: Ihr KI-Gedächtnis, mit Rechtevererbung aus Ihrer Ablage und Review vor dem Start
- 2
Cockpit: Ihr CRM plus Intelligenz plus Projektstand, Zugänge mit Zwei-Faktor und Rollen
- 3
Post-Lotse: Posteingang, der eingeschleuste Anweisungen in Mails erkennt und nichts allein verschickt
Für wen
Büros mit Wissensdatenbank, Cockpit oder lokalem KI-Server, eigenem oder fremdem
Datenhaltung
Prüfung auf Ihrem System, Befunde bleiben bei Ihnen
Anwendungen
Sechs Angriffswege, die wir bei KI-Systemen prüfen
Aus unseren eigenen Sicherheits-Reviews vor dem Go-live. Jeder Punkt ist schon einmal aufgefallen.
- Rechte: Findet die Bauzeichnerin die Gehaltsliste, weil die Berechtigung aus dem Server nicht vererbt wurde
- Eingeschleuste Anweisungen: Eine Mail enthält versteckten Text, der die KI zu etwas anderem bringen soll
- Datenabfluss: Tauchen Bauherrendaten in Antworten auf, die an Dritte gehen, zum Beispiel in Fachbeiträgen
- Schnittstellen: Ist die Verbindung zwischen Cockpit, Postfach und Ablage nur mit Schlüssel erreichbar
- Server: Läuft der lokale KI-Server gehärtet, ohne Telemetrie, mit Updates ohne Internetzwang
- Protokoll: Wird nachvollziehbar, wer was gefragt hat, ohne dass daraus eine Überwachung wird
Rechte nur an der Oberfläche zu prüfen fällt im Alltag nie auf. In einer Prüfung sofort.
Der Engpass
Warum ein Virenscanner hier nicht reicht
Klassische Sicherheit prüft Türen und Fenster. Eine KI ist ein Mitarbeiter, der alles gelesen hat und jedem antwortet, der freundlich fragt. Die Frage ist nicht, ob jemand ins Netz kommt, sondern was die KI ihm dann erzählt. Das lässt sich nur prüfen, indem man es versucht, mit Erlaubnis und mit Bericht.
Im Detail
Was bei KI-Systemen tatsächlich geprüft werden muss
Sie prüfen bei einem KI-System zwei Dinge, die bei klassischer Software so nicht vorkommen. Erstens, ob sich das Modell durch geschickt formulierte Eingaben dazu bringen lässt, Dinge zu tun oder zu zeigen, die es nicht soll. Zweitens, ob die Rechtetrennung auch dann hält, wenn jemand systematisch danach sucht.
Der zweite Punkt ist der gefährlichere. Ein System, das Dokumente zusammenfasst, kann Inhalte aus Dokumenten preisgeben, die der Fragende selbst nicht öffnen dürfte, wenn die Rechte nur an der Oberfläche geprüft werden. Das fällt im Alltag nie auf, weil niemand danach sucht. In einer Prüfung fällt es sofort auf.
Dazu kommen die üblichen Themen: Zugänge, Protokollierung, Updates, Sicherung. Eine Prüfung liefert am Ende einen Bericht mit Befunden und Priorität, und die Befunde gehören behoben, bevor das System in den Regelbetrieb geht. Nicht danach.
Ablauf
So läuft ein Pentest für KI-Systeme
- 01
Umfang und Freigabe
Welche Systeme, welche Nutzerrollen, welcher Zeitraum. Schriftlich, mit Notfallnummer, ohne zerstörende Tests.
- 02
Prüfung von außen
Wir versuchen, als normaler Nutzer mehr zu sehen, als erlaubt ist, schleusen Anweisungen ein und prüfen Server und Schnittstellen.
- 03
Bericht, Behebung, Nachtest
Jeder Befund mit Beweis und Einstufung. Wir schließen mit Ihrem Team, dann prüfen wir nach. Erst dann Go-live.
Zielgruppen
Für wen sich das lohnt
Fragen
Was Betriebe an dieser Stelle fragen
Prüfen Sie auch KI-Systeme, die nicht von Ihnen sind?
Ja. Wissensdatenbanken, Chatbots, Copilot-Einrichtungen und lokale Server anderer Anbieter prüfen wir nach demselben Plan. Der Bericht gehört Ihnen.
Was ist eine eingeschleuste Anweisung?
Versteckter Text in einer Mail oder einem PDF, der die KI anweist, etwas anderes zu tun als gefragt, zum Beispiel Daten auszugeben. Gute Systeme erkennen das. Ob Ihres das tut, zeigt der Test.
Stört der Test den Betrieb?
Nein. Getestet wird in abgesprochenen Zeitfenstern, ohne zerstörende Eingriffe, mit Notfallnummer. Kritische Funde melden wir sofort.
Wie oft sollte man prüfen?
Vor dem Go-live, nach jeder größeren Änderung und einmal im Jahr. Dazwischen laufen automatische Schwachstellenscans.
Gibt es Fördermittel dafür?
Oft ja. Ob ein Zuschuss oder ein Darlehen greift, hängt an Ihrem Bundesland, an der Betriebsgröße und am Vorhaben. Wir prüfen das vor dem Termin und sagen Ihnen ehrlich, ob sich der Antragsaufwand lohnt.
Weiterlesen
Verwandte Seiten
Programme
Programme, mit denen Sie arbeiten
Zu jedem steht, was sich anbinden lässt, was dabei herauskommt und wo die Grenze liegt.
Der nächste Schritt
Unser Ziel: keine Suchzeit mehr.
Sie fragen, die belegte Antwort steht mit Quelle da. Im kostenlosen Analysegespräch, 30 Minuten, sehen wir uns Ihr Unternehmen an und sagen Ihnen, wo die Firmen-KI zuerst hilft. Wir denken langfristig. Der erste Schritt soll sich für Sie schnell rechnen, deshalb steht Ihr erster Baustein ab 2 Wochen. Danach wachsen wir mit Ihnen weiter: Wir suchen langfristige Partnerschaften, keine Einmalprojekte.
- Festpreis je Schritt
- Stopp-Punkt mit Zwischenabnahme
- Eigener Code, der Ihnen gehört