KI lokal betreiben
Lokale KI-Systeme im Planungsbüro
eigener Server, keine Cloud, Antwort mit Quelle.
Manche Büros dürfen keine Cloud. Brandschutz, Verteidigung, Infrastruktur, Auftraggeber mit strengen Vorgaben. Für sie gibt es die eigene KI im Haus: ein Server mit Profi-Grafikkarte, offene Modelle, und nichts verlässt das Netz.
- Für wen
- Büros, die keine Cloud dürfen oder wollen: Brandschutz, Infrastruktur, Verteidigung
- Aufwand
- 15 Arbeitstage bis zum Fahrplan
- Förderung
- Wird für Ihr Bundesland geprüft
- Datenhaltung
- Komplett auf Ihrem Server, nichts geht nach außen
- Erster Schritt
- Dreißig Minuten Erstgespräch per Video
Kurz gesagt
Ein lokales KI-System läuft komplett auf einem Server in Ihrem Büro: offene Sprachmodelle mit freier Lizenz, eine Wissensdatenbank über Ihren Dokumenten, Rechte aus dem Active Directory, Texterkennung für Scans, Protokolle aus Sprachaufnahmen. Kein Cloud-Dienst im Datenpfad, Fernwartung nur per VPN mit Vertrag. Ein Server mit einer Grafikkarte trägt etwa zwanzig Nutzer. Einführung in sechs Schritten, Sicherheitsprüfung vor dem Start.
Stand: September 2026
Sechs Dinge, die ein lokales KI-System im Büro tut
Aus einem laufenden Projekt mit einem Ingenieurbüro für Brandschutz mit mehreren hunderttausend Dokumenten. Ohne Namen, mit den echten Anforderungen.
- Fragen an den gesamten Bestand: Projektakten, Nachweise, Konzepte, mit Fundstelle, nur für die, die das Dokument sehen dürfen
- Gescannte PDFs werden lesbar: Texterkennung für die achtzig Prozent des Fileservers, die bisher nur Bilder waren
- Besprechungen und Baustellenprotokolle aus Sprachaufnahmen, verarbeitet auf dem eigenen Server
- Entwurfsassistent für Fachtexte aus eigenen Vorlagen, der Mensch bleibt Autor und Unterzeichner
- Normen nicht als Volltext im Modell, sondern als Rechenlogik und Fundstelle, so wie es die Lizenz erlaubt
- Auf Wunsch komplett offline vorführbar, im Betrieb netzgetrennt mit kontrolliertem Ausgang und Fernwartung per VPN
Warum lokale KI mehr ist als ein Rechner mit Grafikkarte
Eine Spielkarte mit 32 Gigabyte trägt eine Einzelsuche. Zwanzig Nutzer, Automatisierung und Bildanalyse tragen erst 96 Gigabyte, bestätigt von zwei unabhängigen Fachleuten. Dazu kommt das, was kein Lieferant mitliefert: Rechtevererbung aus dem Active Directory, Texterkennung, Härtung, externes Sicherheits-Review vor dem Start, Betrieb mit Updates ohne Internet. Am falschen Ende gespart, wirkt die beste KI lahm.
Was ein System im eigenen Haus wirklich verlangt
Sie brauchen dafür drei Dinge, und keines davon ist exotisch: eine Maschine mit Profi-Grafikkarte, ein offenes Sprachmodell mit freier Lizenz, und eine saubere Rechtestruktur in Ihrem Verzeichnisdienst. Der schwierigste Teil ist der dritte, weil er offenlegt, was über Jahre gewachsen ist.
Was oft unterschätzt wird, ist der Betrieb. Eine solche Maschine läuft nicht nebenbei: Updates, Überwachung, Sicherung, und jemand, der erreichbar ist, wenn etwas klemmt. Wer das nicht vorher klärt, hat nach einem Jahr ein System, das niemand mehr anfasst, weil keiner mehr weiß, wie es eingerichtet wurde.
Deshalb gehört zu jeder Spezifikation bei uns die Frage, wer den Betrieb übernimmt, und die Antwort steht im Vertrag und nicht in einer Absprache. Fernwartung läuft über einen Zugang, den Sie auf Anforderung öffnen, nicht über einen Kanal, der immer offen steht.
Der schwierigste Teil ist nicht die Maschine. Es ist die Rechtestruktur, die dabei offengelegt wird.
Was wir dafür entwickeln
So kommt die KI ins Haus
- Schritt 1
Daten- und Netz-Audit
Was liegt wo, welche Formate, wie viele Scans, welche Rechtegruppen, Serverraum, Strom, Netztrennung. Das bestimmt die Hälfte des Aufwands.
- Schritt 2
Aufbau im getrennten Netz
Server im eigenen Netzsegment, Modell lauffähig, Anmeldung über Ihr Active Directory, erster Test mit hundert echten Dokumenten.
- Schritt 3
Einlesen, Härten, Prüfen
Bestand einlesen, Rechte vererben, Sicherheitsprüfung durch Dritte, dann Pilot mit einer Abteilung, Schulung, Betrieb mit monatlichem Bericht.
Für wen sich das lohnt
- Geschäftsführung
- Sie dürfen keine Cloud und wollen trotzdem KI. Das ist der Weg, mit Förderung und ohne Abhängigkeit von einem Anbieter.
- IT und Administration
- Sie verantworten das Netz. Alles läuft in Containern, dokumentiert, mit Update-Konzept ohne Internetzwang.
- Fachabteilung
- Sie fragen den Bestand und bekommen die Fundstelle, sehen aber nur, was Sie sehen dürfen.
Was Betriebe an dieser Stelle fragen
Einwand
Was kostet ein lokales KI-System?
Hardware und Einführung sind zwei Posten. Den Server beschaffen Sie selbst nach unserer Spezifikation, die Einführung läuft mit Festpreis je Schritt. Zahlen nennen wir nach dem Audit mit Ihren Mengen, nicht vorher.
Einwand
Welche Modelle laufen lokal?
Offene Sprachmodelle mit freier Lizenz, die auf einer Profi-Grafikkarte laufen und gutes Deutsch schreiben. Das Modell ist austauschbar, Ihre Daten und Ihr Index bleiben.
Einwand
Ist lokale KI so gut wie ChatGPT?
Für Suche, Zusammenfassung und Fragen an Dokumente praktisch gleichauf, weil die Qualität aus dem Zugang zu Ihren Daten kommt. Bei freiem Schreiben langer Fachtexte bleibt es ein Entwurfsassistent.
Einwand
Brauchen wir einen Air-Gap?
Meist nicht. Netzgetrennt mit kontrolliertem Ausgang und Fernwartung per VPN mit Vertrag ist günstiger und wartbar. Komplett offline führen wir vor, wenn Sie es sehen wollen.
Einwand
Wer betreibt das danach?
Sie, mit uns im Rücken: Monitoring, Modell- und Sicherheitsupdates, Sicherung von Index und Konfiguration, monatlicher Bericht. Alles ohne uns lauffähig, dokumentiert.
Verwandte Seiten
Lokale KI-Modelle
Welche Sprachmodelle auf dem eigenen Server laufen, was sie können, und wann sie reichen
KI-Sicherheit und Pentest
Kann jemand Ihrer KI Dinge entlocken, die er nicht sehen darf? Das prüfen wir vor dem Start
On-Premise gegen Cloud
Die Originale bleiben im Haus, die Suche läuft trotzdem vom Handy
Programme, mit denen Sie arbeiten
Zu jedem steht, was sich anbinden lässt, was dabei herauskommt und wo die Grenze liegt.
- ServerauswahlAnforderungen aus Modellgröße, Nutzerzahl und Antwortzeit
- Sicherung und AusfallDrei Dinge sichern, Wiederanlauf üben, keine Abhängigkeit erzeugen
- Laufender BetriebÜberwachen, aktualisieren, jemanden benennen
- RechteverwaltungVorhandene Rechte übernehmen, bei jeder Frage prüfen
- OpenAI APISprache, Bild und Stimme, wenn drei Arten Material zusammenkommen
Sehen wir uns Ihr Büro an.
Dreißig Minuten, per Video oder Telefon. Danach wissen Sie, ob sich das für Sie lohnt.