Copilot oder lokal
Was Microsoft 365 Copilot sieht, was nicht, und wann eine lokale KI daneben oder stattdessen läuft
Lokale KI · ChatGPT
ChatGPT oder lokale KI
die Alternative, die Ihre Dokumente kennt.
ChatGPT ist der Maßstab, an dem jeder lokale Chat gemessen wird. Das ist fair. Nur vergleichen die meisten das Falsche: das freie Schreiben statt der Frage, was Ihr Unternehmen den ganzen Tag braucht, nämlich Antworten aus eigenen Unterlagen.
*KI-generiert- Für wen
- Betriebe, in denen ChatGPT längst genutzt wird, offiziell oder nicht
- Aufwand
- Ab 2 Wochen Entwicklungszeit, je nach Umfang
- Förderung
- Wird für Ihr Bundesland geprüft
- Datenhaltung
- Komplett auf Ihrem Server, nichts geht nach außen
- Erster Schritt
- Kostenloses Analysegespräch, 30 Minuten
Kurz gesagt
Eine On-premise-Alternative zu ChatGPT ist ein offenes Sprachmodell auf Ihrem eigenen Server, mit Chat-Oberfläche, Anmeldung über Ihr Active Directory und Zugriff auf Ihre Dokumente mit Quelle. Für Suche, Zusammenfassung und Fragen an Unterlagen ist der Abstand zu ChatGPT praktisch klein. Beim freien Schreiben langer Fachtexte bleibt das lokale Modell ein Entwurfsassistent, kein Ersatz.
Stand: Oktober 2026
PhoenixOne AI aus Leipzig ist der Spezialist für Firmen-KI im deutschen Mittelstand. Ihre Firmen-KI läuft auf Wunsch komplett auf Ihrem eigenen Server, Ihre Daten bleiben im Haus. Ihr erster Baustein steht ab 2 Wochen und soll sich schnell rechnen. Danach wachsen wir langfristig mit Ihnen weiter.
Anwendungen
Sechs Aufgaben, bei denen lokal gewinnt
Nicht weil das Modell klüger wäre, sondern weil es Ihre Quellen hat und im Haus bleibt.
- 01Fragen an Verträge, Protokolle und Bescheide, beantwortet mit Fundstelle statt aus dem Gedächtnis des Modells
- 02Zusammenfassung eines Projektordners mit hundert Dateien, den niemand in ChatGPT hochladen dürfte
- 03Antworten, die nur die sehen, die das Dokument auch im Explorer öffnen dürften
- 04Vergleich zweier Leistungsverzeichnisse oder Angebotsstände aus Ihrer Ablage
- 05Suche nach dem Präzedenzfall: Wie haben wir das vor drei Jahren bei einem ähnlichen Auftrag gelöst
- 06Protokolle aus Besprechungsaufnahmen, lokal transkribiert, ohne dass die Aufnahme das Haus verlässt
Zielgruppen
Für wen sich das lohnt
Geschäftsführung
Sie wissen, dass ChatGPT genutzt wird, und wissen nicht, was hineinkopiert wird. Danach gibt es einen Chat mit Regeln, der im Haus bleibt.
Mitarbeitende
Sie haben sich an ChatGPT gewöhnt. Der lokale Chat sieht ähnlich aus, antwortet aus Ihren Unterlagen und braucht keine Ausrede mehr.
Datenschutzbeauftragte
Sie brauchen eine Lösung, die Sie freigeben können. Ein System ohne Datenpfad nach außen ist die kürzeste Prüfung.
Der Engpass
Warum ChatGPT im Betrieb an drei Stellen hakt
Erstens kennt ChatGPT Ihre Ablage nicht, und was es nicht kennt, erfindet es plausibel. Zweitens dürfen Kundendaten, Verträge und Personaldaten ohne Vertrag zur Auftragsverarbeitung nicht hinein, und in der Praxis landen sie trotzdem dort. Drittens ändert der Anbieter Modelle und Preise, und Ihre eingespielten Prompts liefern von einem Tag auf den anderen andere Ergebnisse. Ein lokales System behebt alle drei, zum Preis, dass Sie einen Server betreiben.
Im Detail
Warum der Vergleich meist schiefgeht
Sie vergleichen zwei Dinge, die nicht dasselbe tun. Ein großer Dienst ist besser im freien Formulieren und im Allgemeinwissen, und er wird das auf absehbare Zeit bleiben. Ein System im eigenen Haus ist besser darin, Ihre Unterlagen zu kennen und seine Quelle zu nennen. Das ist kein Qualitätsunterschied, sondern ein Zweckunterschied.
Für die meisten Fragen im Betrieb zählt der zweite Zweck. Niemand braucht im Büro ein Gedicht, aber viele brauchen die Auflage aus dem Projekt von 2019 mit der Stelle, an der sie steht. Für diese Aufgabe ist ein kleineres Modell mit Zugriff auf Ihren Bestand einem größeren ohne Zugriff überlegen.
Dazu kommt die rechtliche Seite, und die entscheidet oft zuerst. Was Sie an einen Dienst geben, dessen Verarbeitungskette Sie nicht überblicken, müssen Sie im Prüffall verantworten. Bei Mandanten-, Gesundheits- und Auftraggeberdaten ist das der Punkt, an dem die Diskussion endet.
Bausteine
Was wir dafür entwickeln
Baustein 1
Firmen-KI im DetailFirmen-KI: Ihr KI-Gedächtnis, das im Chat aus Ihren Dokumenten antwortet, mit Fundstelle
Baustein 2
Post-Lotse im DetailPost-Lotse: Posteingang, der Mails zusammenfasst, ohne dass sie einen Cloud-Dienst berühren
Baustein 3
Machbarkeits-Radar im DetailMachbarkeits-Radar: Anfragen prüfen, gegen Ihren Bestand statt gegen das Internet
Ein kleineres Modell mit Zugriff auf Ihren Bestand schlägt ein größeres ohne Zugriff. Bei jeder Frage, die Ihr Haus betrifft.
Ablauf
So kommt die eigene KI ins Haus
- 01
Daten- und Netz-Audit
Was liegt wo, wie viele Scans, welche Rechtegruppen, welcher Serverraum. Das Audit ist Tag 1 der Umsetzung, am Ende steht die Spezifikation für Server und Software.
- 02
Aufbau im getrennten Netz
Server im eigenen Netzsegment, Modell lauffähig, Anmeldung über Ihr Active Directory, erster Test mit hundert echten Dokumenten.
- 03
Einlesen, Härten, Betrieb
Bestand einlesen, Rechte vererben, Sicherheitsprüfung durch Dritte, Pilot mit einer Abteilung, dann Betrieb mit monatlichem Bericht.
Nachschlagen
Fachwörter auf dieser Seite
Erklärt im Glossar
Im Detail als Fachartikel
Fragen
Häufig gefragt
Ist das lokale Modell dümmer als ChatGPT?
Beim freien Schreiben langer Texte ja, spürbar. Bei Fragen an Ihre Dokumente nicht, weil die Antwort aus der Quelle kommt und nicht aus dem Modell. Für den Betriebsalltag ist das zweite wichtiger.
Können wir unsere ChatGPT-Prompts übernehmen?
Ja. Prompts, Vorlagen und eigene GPT-Anweisungen übertragen wir in den lokalen Chat. Manche brauchen eine kleine Anpassung, weil das Modell anders formuliert.
Welches Modell kommt statt ChatGPT zum Einsatz?
Ein offenes Modell mit freier Lizenz, etwa Qwen 3.5, gpt-oss 120B oder Mistral Small 4. Welches, entscheidet Ihr Testsatz auf Ihrer Hardware, nicht unsere Vorliebe.
Bleibt ChatGPT für manches erlaubt?
Das entscheiden Sie in einer Regel: Texte ohne personenbezogene und ohne vertrauliche Daten dürfen weiterhin nach draußen, alles andere in den lokalen Chat. Wir helfen, die Regel zu schreiben.
Gibt es Fördermittel für lokale KI?
Oft ja. Ob ein Zuschuss oder ein Darlehen greift, hängt an Ihrem Bundesland, an der Betriebsgröße und am Vorhaben. Hardware zählt in der Regel mit, wenn sie Teil des Vorhabens ist. Wir prüfen das vor dem Termin und sagen Ihnen, ob sich der Antragsaufwand lohnt.
Weiterlesen
Verwandte Seiten
Erster SchrittKostenloses Analysegespräch, 30 MinutenWo es in Ihrem Unternehmen hakt und ob eine Firmen-KI zu Ihnen passt. Per Video, ohne Verpflichtung.
RAG lokal
Antwort mit Quelle aus den eigenen Dokumenten, komplett auf dem eigenen Server
Architekturbüro
Projektakten, Bauanträge und Ausschreibungen im Haus durchsuchen, ohne dass Entwürfe in eine Cloud gehen
Programme
Programme, mit denen Sie arbeiten
Zu jedem steht, was sich anbinden lässt, was dabei herauskommt und wo die Grenze liegt.
OpenAI APISprache, Bild und Stimme, wenn drei Arten Material zusammenkommen
Anthropic APIClaude für lange Dokumente, Auswertung und sauberes Deutsch
Google Gemini APIFür große Mengen Text, Bilder und Pläne in einem Durchgang
Der nächste Schritt
Unser Ziel: keine Suchzeit mehr.
Sie fragen, die belegte Antwort steht mit Quelle da. Im kostenlosen Analysegespräch, 30 Minuten, sehen wir uns Ihr Unternehmen an und sagen Ihnen, wo die Firmen-KI zuerst hilft. Wir denken langfristig. Der erste Schritt soll sich für Sie schnell rechnen, deshalb steht Ihr erster Baustein ab 2 Wochen. Danach wachsen wir mit Ihnen weiter: Wir suchen langfristige Partnerschaften, keine Einmalprojekte.
- Festpreis je Schritt
- Stopp-Punkt mit Zwischenabnahme
- Eigener Code, der Ihnen gehört