Lokale KI-Modelle
Welche Sprachmodelle auf dem eigenen Server laufen, was sie können, und wann sie reichen
KI lokal betreiben
Lokale KI-Systeme im Mittelstand
eigener Server, keine Cloud, Antwort mit Quelle.
Manche Unternehmen dürfen keine Cloud: Verteidigung, Infrastruktur, Gesundheit, Auftraggeber mit strengen Vorgaben. Für sie gibt es die eigene KI im Haus: ein Server mit Profi-Grafikkarte, offene Modelle, und nichts verlässt das Netz.
- Für wen
- Büros, die keine Cloud dürfen oder wollen: Brandschutz, Infrastruktur, Verteidigung
- Aufwand
- Ab 2 Wochen Entwicklungszeit, je nach Umfang
- Förderung
- Wird für Ihr Bundesland geprüft
- Datenhaltung
- Komplett auf Ihrem Server, nichts geht nach außen
- Erster Schritt
- Kostenloses Analysegespräch, 30 Minuten
Kurz gesagt
Ein lokales KI-System läuft komplett auf einem Server in Ihrem Haus: offene Sprachmodelle mit freier Lizenz, eine Wissensdatenbank über Ihren Dokumenten, Rechte aus dem Active Directory, Texterkennung für Scans, Protokolle aus Sprachaufnahmen. Kein Cloud-Dienst im Datenpfad, Fernwartung nur per VPN mit Vertrag. Ein Server mit einer Grafikkarte trägt etwa zwanzig Nutzer. Einführung in sechs Schritten, Sicherheitsprüfung vor dem Start.
Stand: Oktober 2026
PhoenixOne AI aus Leipzig ist der Spezialist für Firmen-KI im deutschen Mittelstand. Zum Thema Lokale KI-Systeme entwickeln wir einen Baustein Ihrer Firmen-KI, die Ihr Firmenwissen aus Ordnern, Server und Postfächern kennt und mit Quelle antwortet. Ihr erster Baustein steht ab 2 Wochen und soll sich schnell rechnen. Danach wachsen wir langfristig mit Ihnen weiter.
Anwendungen
Sechs Dinge, die ein lokales KI-System im Büro tut
Aus einem laufenden Projekt mit einem Ingenieurbüro für Brandschutz mit mehreren hunderttausend Dokumenten. Ohne Namen, mit den echten Anforderungen.
- Fragen an den gesamten Bestand: Projektakten, Nachweise, Konzepte, mit Fundstelle, nur für die, die das Dokument sehen dürfen
- Gescannte PDFs werden lesbar: Texterkennung für die achtzig Prozent des Fileservers, die bisher nur Bilder waren
- Besprechungen und Baustellenprotokolle aus Sprachaufnahmen, verarbeitet auf dem eigenen Server
- Entwurfsassistent für Fachtexte aus eigenen Vorlagen, der Mensch bleibt Autor und Unterzeichner
- Normen nicht als Volltext im Modell, sondern als Rechenlogik und Fundstelle, so wie es die Lizenz erlaubt
- Auf Wunsch komplett offline vorführbar, im Betrieb netzgetrennt mit kontrolliertem Ausgang und Fernwartung per VPN
Der Engpass
Warum lokale KI mehr ist als ein Rechner mit Grafikkarte
Eine Spielkarte mit 32 Gigabyte trägt eine Einzelsuche. Zwanzig Nutzer, Automatisierung und Bildanalyse tragen erst 96 Gigabyte, bestätigt von zwei unabhängigen Fachleuten. Dazu kommt das, was kein Lieferant mitliefert: Rechtevererbung aus dem Active Directory, Texterkennung, Härtung, externes Sicherheits-Review vor dem Start, Betrieb mit Updates ohne Internet. Am falschen Ende gespart, wirkt die beste KI lahm.
Im Detail
Was ein System im eigenen Haus wirklich verlangt
Sie brauchen dafür drei Dinge, und keines davon ist exotisch: eine Maschine mit Profi-Grafikkarte, ein offenes Sprachmodell mit freier Lizenz, und eine saubere Rechtestruktur in Ihrem Verzeichnisdienst. Der schwierigste Teil ist der dritte, weil er offenlegt, was über Jahre gewachsen ist.
Was oft unterschätzt wird, ist der Betrieb. Eine solche Maschine läuft nicht nebenbei: Updates, Überwachung, Sicherung, und jemand, der erreichbar ist, wenn etwas klemmt. Wer das nicht vorher klärt, hat nach einem Jahr ein System, das niemand mehr anfasst, weil keiner mehr weiß, wie es eingerichtet wurde.
Deshalb gehört zu jeder Spezifikation bei uns die Frage, wer den Betrieb übernimmt, und die Antwort steht im Vertrag und nicht in einer Absprache. Fernwartung läuft über einen Zugang, den Sie auf Anforderung öffnen, nicht über einen Kanal, der immer offen steht.
Der schwierigste Teil ist nicht die Maschine. Es ist die Rechtestruktur, die dabei offengelegt wird.
Bausteine
Was wir dafür entwickeln
Baustein 1
Firmen-KI im DetailFirmen-KI: Ihr KI-Gedächtnis, hier komplett auf Ihrem Server statt mit Index in Frankfurt
Baustein 2
Baustellen-Agent im DetailBaustellen-Agent: Bauprotokoll per Sprache, Verarbeitung lokal, nichts geht in eine Cloud
Baustein 3
Kalkulations-Assistent im DetailKalkulations-Assistent: Angebote aus eigenen Kalkulationen, auf dem eigenen Modell
Ablauf
So kommt die KI ins Haus
- Schritt 1
Daten- und Netz-Audit
Was liegt wo, welche Formate, wie viele Scans, welche Rechtegruppen, Serverraum, Strom, Netztrennung. Das bestimmt die Hälfte des Aufwands.
- Schritt 2
Aufbau im getrennten Netz
Server im eigenen Netzsegment, Modell lauffähig, Anmeldung über Ihr Active Directory, erster Test mit hundert echten Dokumenten.
- Schritt 3
Einlesen, Härten, Prüfen
Bestand einlesen, Rechte vererben, Sicherheitsprüfung durch Dritte, dann Pilot mit einer Abteilung, Schulung, Betrieb mit monatlichem Bericht.
Zielgruppen
Für wen sich das lohnt
GeschäftsführungSie dürfen keine Cloud und wollen trotzdem KI. Das ist der Weg, mit Förderung und ohne Abhängigkeit von einem Anbieter.
IT und AdministrationSie verantworten das Netz. Alles läuft in Containern, dokumentiert, mit Update-Konzept ohne Internetzwang.
FachabteilungSie fragen den Bestand und bekommen die Fundstelle, sehen aber nur, was Sie sehen dürfen.
Fragen
Was Betriebe an dieser Stelle fragen
Einwand
Was kostet ein lokales KI-System?
Hardware und Einführung sind zwei Posten. Den Server beschaffen Sie selbst nach unserer Spezifikation, die Einführung läuft mit Festpreis je Schritt. Zahlen nennen wir nach dem Audit mit Ihren Mengen, nicht vorher.
Einwand
Welche Modelle laufen lokal?
Offene Sprachmodelle mit freier Lizenz, die auf einer Profi-Grafikkarte laufen und gutes Deutsch schreiben. Das Modell ist austauschbar, Ihre Daten und Ihr Index bleiben.
Einwand
Ist lokale KI so gut wie ChatGPT?
Für Suche, Zusammenfassung und Fragen an Dokumente praktisch gleichauf, weil die Qualität aus dem Zugang zu Ihren Daten kommt. Bei freiem Schreiben langer Fachtexte bleibt es ein Entwurfsassistent.
Einwand
Brauchen wir einen Air-Gap?
Meist nicht. Netzgetrennt mit kontrolliertem Ausgang und Fernwartung per VPN mit Vertrag ist günstiger und wartbar. Komplett offline führen wir vor, wenn Sie es sehen wollen.
Einwand
Wer betreibt das danach?
Sie, mit uns im Rücken: Monitoring, Modell- und Sicherheitsupdates, Sicherung von Index und Konfiguration, monatlicher Bericht. Alles ohne uns lauffähig, dokumentiert.
Weiterlesen
Verwandte Seiten
BranchenFirmen-KI nach BrancheMaschinenbau, Handwerk, Logistik, Handel, Steuerberatung, Immobilien und Planung: wo die Firmen-KI in Ihrer Branche zuerst hilft.
Erster SchrittKostenloses Analysegespräch, 30 MinutenWo es in Ihrem Unternehmen hakt und ob eine Firmen-KI zu Ihnen passt. Per Video, ohne Verpflichtung.
KI-Sicherheit und Pentest
Kann jemand Ihrer KI Dinge entlocken, die er nicht sehen darf? Das prüfen wir vor dem Start
On-Premise gegen Cloud
Die Originale bleiben im Haus, die Suche läuft trotzdem vom Handy
Programme
Programme, mit denen Sie arbeiten
Zu jedem steht, was sich anbinden lässt, was dabei herauskommt und wo die Grenze liegt.
ServerauswahlAnforderungen aus Modellgröße, Nutzerzahl und Antwortzeit
Sicherung und AusfallDrei Dinge sichern, Wiederanlauf üben, keine Abhängigkeit erzeugen
Laufender BetriebÜberwachen, aktualisieren, jemanden benennen
RechteverwaltungVorhandene Rechte übernehmen, bei jeder Frage prüfen
OpenAI APISprache, Bild und Stimme, wenn drei Arten Material zusammenkommen
Der nächste Schritt
Unser Ziel: keine Suchzeit mehr.
Sie fragen, die belegte Antwort steht mit Quelle da. Im kostenlosen Analysegespräch, 30 Minuten, sehen wir uns Ihr Unternehmen an und sagen Ihnen, wo die Firmen-KI zuerst hilft. Wir denken langfristig. Der erste Schritt soll sich für Sie schnell rechnen, deshalb steht Ihr erster Baustein ab 2 Wochen. Danach wachsen wir mit Ihnen weiter: Wir suchen langfristige Partnerschaften, keine Einmalprojekte.
- Festpreis je Schritt
- Stopp-Punkt mit Zwischenabnahme
- Eigener Code, der Ihnen gehört