Offene Sprachmodelle lokal
Lokale KI-Modelle für Ihr Büro
offen, austauschbar, gutes Deutsch.
Die Frage ist selten, ob es lokale Modelle gibt. Die Frage ist, ob sie gut genug sind. Für das, was ein Planungsbüro braucht, sind sie es seit 2026: Suche mit Quelle, Zusammenfassung, Fragen an lange Dokumente, Deutsch ohne Stolpern.
Kurz gesagt
Lokale KI-Modelle sind offene Sprachmodelle mit freier Lizenz, die komplett auf einem Server im Haus laufen. Die aktuellen Modelle passen auf eine Profi-Grafikkarte, schreiben gutes Deutsch und erreichen bei Suche, Zusammenfassung und Fachfragen fast das Niveau der großen Cloud-Modelle. Sie sind austauschbar, Ihre Daten und Ihr Index bleiben beim Wechsel erhalten.
Stand: September 2026
Wo die Grenze liegt, ehrlich gesagt
Bei Suche, Zusammenfassung und Fragen an Dokumente kommt die Qualität aus dem Zugang zu Ihren Daten, nicht aus dem Modell. Da sind lokale Modelle praktisch gleichauf. Bei freiem Schreiben langer Fachtexte bleibt ein lokales Modell ein Entwurfsassistent. Und eine Spielkarte mit 32 Gigabyte trägt nur eine Einzelsuche, kein Büro. Das sagen wir vorher, nicht nachher.
Wie Sie das passende Modell auswählen
Sie wählen nicht das beste Modell, sondern das passende. Entscheidend sind vier Größen: Wie gut es Deutsch schreibt, wie zuverlässig es bei Fachbegriffen Ihrer Branche bleibt, wie viel Text es auf einmal verarbeiten kann, und wie viel Speicher es auf der Grafikkarte belegt. Die letzten beiden hängen zusammen und begrenzen einander.
Ranglisten im Netz helfen dabei wenig, weil sie mit anderen Aufgaben und meist auf Englisch gemessen wurden. Was zählt, ist ein Testsatz aus Ihren echten Fragen mit Ihren echten Dokumenten: dreißig Fragen, deren richtige Antwort Sie kennen. Damit ist die Auswahl in zwei Tagen entschieden statt in drei Monaten Diskussion.
Weil die Lizenzen offen sind, ist das Modell austauschbar. Kommt in einem Jahr ein besseres, tauschen Sie es, und Ihr Bestand bleibt, wo er ist. Genau das ist der Unterschied zu einem Dienst, bei dem der Anbieter entscheidet, wann sich etwas ändert.
Sechs Dinge, die lokale Modelle heute gut können
Aus unserer Modellprüfung vom Sommer 2026 für ein Ingenieurbüro, ohne Namen. Gemessen an echten Fragen, nicht an Ranglisten.
- Fragen an lange Fachdokumente mit Fundstelle, auch über hunderte Seiten Kontext
- Zusammenfassen von Bescheiden, Protokollen und Mails in drei Sätzen, auf Deutsch, ohne Stolpern
- Fachfragen über Normen und Regelwerke, wenn die Texte als Quelle vorliegen, nie aus dem Gedächtnis
- Erste Entwürfe für Schreiben, Nachträge und Berichte aus eigenen Vorlagen, der Mensch bleibt Autor
- Bilder und Pläne beschreiben, damit sie im Gedächtnis auffindbar werden
- Zwanzig Nutzer gleichzeitig auf einer Grafikkarte, mit einem zweiten Modell für Lastspitzen
Was wir dafür entwickeln
- 1
Büro-Gedächtnis: Ihr KI-Gedächtnis, das mit jedem lokalen Modell arbeitet und beim Wechsel bleibt
Büro-Gedächtnis im Detail - 2
Kalkulations-Assistent: Angebote aus eigenen Kalkulationen, gerechnet auf dem eigenen Modell
Kalkulations-Assistent im Detail - 3
Baustellen-Agent: Bauprotokoll aus Sprache, die Spracherkennung läuft ebenfalls lokal
Baustellen-Agent im Detail
Das Modell ist austauschbar. Ihr Bestand ist es nicht. Deshalb hängt der Wert am Bestand.
Für wen sich das lohnt
- Geschäftsführung
- Sie wollen keine Abhängigkeit von einem Anbieter, dessen Preise sich ändern. Offene Modelle mit freier Lizenz gehören niemandem.
- IT und Administration
- Sie betreiben den Server. Modelle laufen in Containern, Updates kommen als geprüfte Pakete, auch ohne Internetzwang.
- Fachplanung
- Sie merken vom Modell nichts, außer dass die Antwort auf Deutsch kommt und die Fundstelle stimmt.
So wählen wir das Modell für Ihr Büro
- 01
Testsatz aus echten Fragen
Fünfzig Fragen aus Ihrem Alltag mit bekannten Antworten. Daran wird gemessen, nicht an Ranglisten aus dem Internet.
- 02
Zwei bis drei Kandidaten
Offene Modelle mit freier Lizenz, die auf Ihre Grafikkarte passen: eines für Deutsch und lange Dokumente, eines für Tempo unter Last.
- 03
Entscheidung und Austauschbarkeit
Das beste Modell wird Standard, das zweite bleibt für Lastspitzen. Der Wechsel dauert einen Nachmittag, Ihre Daten merken nichts davon.
◆Fachwörter auf dieser Seite
Erklärt im Glossar
Im Detail als Fachartikel
Was Betriebe an dieser Stelle fragen
Einwand
Welche Modelle empfehlen Sie konkret?
Das hängt von Grafikkarte, Sprache und Nutzerzahl ab und ändert sich alle paar Monate. Wir prüfen zwei bis drei aktuelle offene Modelle mit freier Lizenz an Ihrem Testsatz und nennen dann Namen mit Begründung.
Einwand
Können wir ein Modell mit unseren Daten trainieren?
Man kann, muss aber meist nicht. Das Gedächtnis mit Quelle löst neunzig Prozent der Fälle ohne Training. Feintuning lohnt sich erst bei sehr eigener Fachsprache und ist ein eigener Schritt.
Einwand
Ist ein lokales Modell datenschutzrechtlich einfacher?
Ja, weil keine Daten das Haus verlassen. Ob das Modell aus Europa, den USA oder China stammt, ist dann zweitrangig: Es läuft bei Ihnen, ohne Verbindung nach außen.
Einwand
Wie schnell ist das?
Auf einer Profi-Grafikkarte antwortet ein Modell dieser Klasse schneller, als man liest, auch mit mehreren Nutzern gleichzeitig. Ein zweites Modell fängt Lastspitzen ab.
Einwand
Gibt es Fördermittel dafür?
Oft ja. Ob ein Zuschuss oder ein Darlehen greift, hängt an Ihrem Bundesland, an der Betriebsgröße und am Vorhaben. Wir prüfen das vor dem Termin und sagen Ihnen ehrlich, ob sich der Antragsaufwand lohnt.
Verwandte Seiten
- Lokale KI-SystemeKI komplett im Haus betreiben: eigener Server, offene Modelle, keine Cloud im Datenpfad
- KI-Sicherheit und PentestKann jemand Ihrer KI Dinge entlocken, die er nicht sehen darf? Das prüfen wir vor dem Start
- On-Premise gegen CloudDie Originale bleiben im Haus, die Suche läuft trotzdem vom Handy
Programme, mit denen Sie arbeiten
Zu jedem steht, was sich anbinden lässt, was dabei herauskommt und wo die Grenze liegt.
Sehen wir uns Ihr Büro an.
Dreißig Minuten, per Video oder Telefon. Danach wissen Sie, ob sich das für Sie lohnt.