Offene Sprachmodelle lokal
Die Frage ist selten, ob es lokale Modelle gibt. Die Frage ist, ob sie gut genug sind. Für das, was ein Planungsbüro braucht, sind sie es seit 2026: Suche mit Quelle, Zusammenfassung, Fragen an lange Dokumente, Deutsch ohne Stolpern.
Kurz gesagt
Lokale KI-Modelle sind offene Sprachmodelle mit freier Lizenz, die komplett auf einem Server im Haus laufen. Die aktuellen Modelle passen auf eine Profi-Grafikkarte, schreiben gutes Deutsch und erreichen bei Suche, Zusammenfassung und Fachfragen fast das Niveau der großen Cloud-Modelle. Sie sind austauschbar, Ihre Daten und Ihr Index bleiben beim Wechsel erhalten.
Der Engpass
Bei Suche, Zusammenfassung und Fragen an Dokumente kommt die Qualität aus dem Zugang zu Ihren Daten, nicht aus dem Modell. Da sind lokale Modelle praktisch gleichauf. Bei freiem Schreiben langer Fachtexte bleibt ein lokales Modell ein Entwurfsassistent. Und eine Spielkarte mit 32 Gigabyte trägt nur eine Einzelsuche, kein Büro. Das sagen wir vorher, nicht nachher.
Im Detail
Sie wählen nicht das beste Modell, sondern das passende. Entscheidend sind vier Größen: Wie gut es Deutsch schreibt, wie zuverlässig es bei Fachbegriffen Ihrer Branche bleibt, wie viel Text es auf einmal verarbeiten kann, und wie viel Speicher es auf der Grafikkarte belegt. Die letzten beiden hängen zusammen und begrenzen einander.
Ranglisten im Netz helfen dabei wenig, weil sie mit anderen Aufgaben und meist auf Englisch gemessen wurden. Was zählt, ist ein Testsatz aus Ihren echten Fragen mit Ihren echten Dokumenten: dreißig Fragen, deren richtige Antwort Sie kennen. Damit ist die Auswahl in zwei Tagen entschieden statt in drei Monaten Diskussion.
Weil die Lizenzen offen sind, ist das Modell austauschbar. Kommt in einem Jahr ein besseres, tauschen Sie es, und Ihr Bestand bleibt, wo er ist. Genau das ist der Unterschied zu einem Dienst, bei dem der Anbieter entscheidet, wann sich etwas ändert.
Anwendungen
Aus unserer Modellprüfung vom Sommer 2026 für ein Ingenieurbüro, ohne Namen. Gemessen an echten Fragen, nicht an Ranglisten.
Bausteine
Büro-Gedächtnis: Ihr KI-Gedächtnis, das mit jedem lokalen Modell arbeitet und beim Wechsel bleibt
Kalkulations-Assistent: Angebote aus eigenen Kalkulationen, gerechnet auf dem eigenen Modell
Baustellen-Agent: Bauprotokoll aus Sprache, die Spracherkennung läuft ebenfalls lokal
Für wen
Büros mit eigenem KI-Server oder dem Plan dafür
Datenhaltung
Modell und Daten auf Ihrem Server, nichts geht nach außen
Das Modell ist austauschbar. Ihr Bestand ist es nicht. Deshalb hängt der Wert am Bestand.
Zielgruppen
Ablauf
Fünfzig Fragen aus Ihrem Alltag mit bekannten Antworten. Daran wird gemessen, nicht an Ranglisten aus dem Internet.
Offene Modelle mit freier Lizenz, die auf Ihre Grafikkarte passen: eines für Deutsch und lange Dokumente, eines für Tempo unter Last.
Das beste Modell wird Standard, das zweite bleibt für Lastspitzen. Der Wechsel dauert einen Nachmittag, Ihre Daten merken nichts davon.
Nachschlagen
Fragen
Das hängt von Grafikkarte, Sprache und Nutzerzahl ab und ändert sich alle paar Monate. Wir prüfen zwei bis drei aktuelle offene Modelle mit freier Lizenz an Ihrem Testsatz und nennen dann Namen mit Begründung.
Man kann, muss aber meist nicht. Das Gedächtnis mit Quelle löst neunzig Prozent der Fälle ohne Training. Feintuning lohnt sich erst bei sehr eigener Fachsprache und ist ein eigener Schritt.
Ja, weil keine Daten das Haus verlassen. Ob das Modell aus Europa, den USA oder China stammt, ist dann zweitrangig: Es läuft bei Ihnen, ohne Verbindung nach außen.
Auf einer Profi-Grafikkarte antwortet ein Modell dieser Klasse schneller, als man liest, auch mit mehreren Nutzern gleichzeitig. Ein zweites Modell fängt Lastspitzen ab.
Oft ja. Ob ein Zuschuss oder ein Darlehen greift, hängt an Ihrem Bundesland, an der Betriebsgröße und am Vorhaben. Wir prüfen das vor dem Termin und sagen Ihnen ehrlich, ob sich der Antragsaufwand lohnt.
Weiterlesen
Programme
Zu jedem steht, was sich anbinden lässt, was dabei herauskommt und wo die Grenze liegt.
Der nächste Schritt
Sie fragen, die belegte Antwort steht mit Quelle da. Wie das geht, zeigen wir im Webinar: live mit Ronja, Eric und Max, mit echten Fragen aus Planungsbüros, gezeigt an einem Beispiel-Archiv. 60 Minuten, online, kostenlos. Nur für Planungs-, Ingenieur- und Architekturbüros.