Lokale KI · ChatGPT
ChatGPT oder lokale KI
die Alternative, die Ihre Dokumente kennt.
ChatGPT ist der Maßstab, an dem jeder lokale Chat gemessen wird. Das ist fair. Nur vergleichen die meisten das Falsche: das freie Schreiben statt der Frage, was Ihr Büro den ganzen Tag braucht, nämlich Antworten aus eigenen Unterlagen.
- Für wen
- Betriebe, in denen ChatGPT längst genutzt wird, offiziell oder nicht
- Aufwand
- 15 Arbeitstage bis zur Spezifikation
- Förderung
- Wird für Ihr Bundesland geprüft
- Datenhaltung
- Komplett auf Ihrem Server, nichts geht nach außen
- Erster Schritt
- Dreißig Minuten Erstgespräch per Video
Kurz gesagt
Eine On-premise-Alternative zu ChatGPT ist ein offenes Sprachmodell auf Ihrem eigenen Server, mit Chat-Oberfläche, Anmeldung über Ihr Active Directory und Zugriff auf Ihre Dokumente mit Quelle. Für Suche, Zusammenfassung und Fragen an Unterlagen ist der Abstand zu ChatGPT praktisch klein. Beim freien Schreiben langer Fachtexte bleibt das lokale Modell ein Entwurfsassistent, kein Ersatz.
Stand: September 2026
Sechs Aufgaben, bei denen lokal gewinnt
Nicht weil das Modell klüger wäre, sondern weil es Ihre Quellen hat und im Haus bleibt.
- 01
Fragen an Verträge, Protokolle und Bescheide, beantwortet mit Fundstelle statt aus dem Gedächtnis des Modells
- 02
Zusammenfassung eines Projektordners mit hundert Dateien, den niemand in ChatGPT hochladen dürfte
- 03
Antworten, die nur die sehen, die das Dokument auch im Explorer öffnen dürften
- 04
Vergleich zweier Leistungsverzeichnisse oder Angebotsstände aus Ihrer Ablage
- 05
Suche nach dem Präzedenzfall: Wie haben wir das vor drei Jahren bei einem ähnlichen Auftrag gelöst
- 06
Protokolle aus Besprechungsaufnahmen, lokal transkribiert, ohne dass die Aufnahme das Haus verlässt
Für wen sich das lohnt
Geschäftsführung
Sie wissen, dass ChatGPT genutzt wird, und wissen nicht, was hineinkopiert wird. Danach gibt es einen Chat mit Regeln, der im Haus bleibt.
Mitarbeitende
Sie haben sich an ChatGPT gewöhnt. Der lokale Chat sieht ähnlich aus, antwortet aus Ihren Unterlagen und braucht keine Ausrede mehr.
Datenschutzbeauftragte
Sie brauchen eine Lösung, die Sie freigeben können. Ein System ohne Datenpfad nach außen ist die kürzeste Prüfung.
Der Engpass
Warum ChatGPT im Betrieb an drei Stellen hakt
Erstens kennt ChatGPT Ihre Ablage nicht, und was es nicht kennt, erfindet es plausibel. Zweitens dürfen Kundendaten, Verträge und Personaldaten ohne Vertrag zur Auftragsverarbeitung nicht hinein, und in der Praxis landen sie trotzdem dort. Drittens ändert der Anbieter Modelle und Preise, und Ihre eingespielten Prompts liefern von einem Tag auf den anderen andere Ergebnisse. Ein lokales System behebt alle drei, zum Preis, dass Sie einen Server betreiben.
Warum der Vergleich meist schiefgeht
Sie vergleichen zwei Dinge, die nicht dasselbe tun. Ein großer Dienst ist besser im freien Formulieren und im Allgemeinwissen, und er wird das auf absehbare Zeit bleiben. Ein System im eigenen Haus ist besser darin, Ihre Unterlagen zu kennen und seine Quelle zu nennen. Das ist kein Qualitätsunterschied, sondern ein Zweckunterschied.
Für die meisten Fragen im Betrieb zählt der zweite Zweck. Niemand braucht im Büro ein Gedicht, aber viele brauchen die Auflage aus dem Projekt von 2019 mit der Stelle, an der sie steht. Für diese Aufgabe ist ein kleineres Modell mit Zugriff auf Ihren Bestand einem größeren ohne Zugriff überlegen.
Dazu kommt die rechtliche Seite, und die entscheidet oft zuerst. Was Sie an einen Dienst geben, dessen Verarbeitungskette Sie nicht überblicken, müssen Sie im Prüffall verantworten. Bei Mandanten-, Gesundheits- und Auftraggeberdaten ist das der Punkt, an dem die Diskussion endet.
Was wir dafür entwickeln
Ein kleineres Modell mit Zugriff auf Ihren Bestand schlägt ein größeres ohne Zugriff. Bei jeder Frage, die Ihr Haus betrifft.
So kommt die eigene KI ins Haus
- 01
Daten- und Netz-Audit
Was liegt wo, wie viele Scans, welche Rechtegruppen, welcher Serverraum. Fünfzehn Arbeitstage, am Ende die Spezifikation für Server und Software.
- 02
Aufbau im getrennten Netz
Server im eigenen Netzsegment, Modell lauffähig, Anmeldung über Ihr Active Directory, erster Test mit hundert echten Dokumenten.
- 03
Einlesen, Härten, Betrieb
Bestand einlesen, Rechte vererben, Sicherheitsprüfung durch Dritte, Pilot mit einer Abteilung, dann Betrieb mit monatlichem Bericht.
◆Fachwörter auf dieser Seite
Erklärt im Glossar
Im Detail als Fachartikel
Häufig gefragt
Ist das lokale Modell dümmer als ChatGPT?
Beim freien Schreiben langer Texte ja, spürbar. Bei Fragen an Ihre Dokumente nicht, weil die Antwort aus der Quelle kommt und nicht aus dem Modell. Für den Betriebsalltag ist das zweite wichtiger.
Können wir unsere ChatGPT-Prompts übernehmen?
Ja. Prompts, Vorlagen und eigene GPT-Anweisungen übertragen wir in den lokalen Chat. Manche brauchen eine kleine Anpassung, weil das Modell anders formuliert.
Welches Modell kommt statt ChatGPT zum Einsatz?
Ein offenes Modell mit freier Lizenz, etwa Qwen 3.5, gpt-oss 120B oder Mistral Small 4. Welches, entscheidet Ihr Testsatz auf Ihrer Hardware, nicht unsere Vorliebe.
Bleibt ChatGPT für manches erlaubt?
Das entscheiden Sie in einer Regel: Texte ohne personenbezogene und ohne vertrauliche Daten dürfen weiterhin nach draußen, alles andere in den lokalen Chat. Wir helfen, die Regel zu schreiben.
Gibt es Fördermittel für lokale KI?
Oft ja. Ob ein Zuschuss oder ein Darlehen greift, hängt an Ihrem Bundesland, an der Betriebsgröße und am Vorhaben. Hardware zählt in der Regel mit, wenn sie Teil des Vorhabens ist. Wir prüfen das vor dem Termin und sagen Ihnen, ob sich der Antragsaufwand lohnt.
Verwandte Seiten
Copilot oder lokal
Was Microsoft 365 Copilot sieht, was nicht, und wann eine lokale KI daneben oder stattdessen läuft
RAG lokal
Antwort mit Quelle aus den eigenen Dokumenten, komplett auf dem eigenen Server
Architekturbüro
Projektakten, Bauanträge und Ausschreibungen im Haus durchsuchen, ohne dass Entwürfe in eine Cloud gehen
Programme, mit denen Sie arbeiten
Zu jedem steht, was sich anbinden lässt, was dabei herauskommt und wo die Grenze liegt.
Sehen wir uns Ihren Bestand an.
Dreißig Minuten, per Video oder Telefon. Danach wissen Sie, ob lokale KI bei Ihnen trägt und was der erste Schritt ist.