◆Lokale KI
KI, die im Haus läuft
und Ihnen gehört.
Ein Server mit Profi-Grafikkarte, offene Sprachmodelle, eine Wissensdatenbank mit Rechten aus dem Active Directory, kein Cloud-Dienst im Datenpfad. Hier finden Sie, welches Modell, welche Hardware und welcher Weg zu Ihrem Büro passt. Jede Seite beantwortet ihre Frage im ersten Absatz.

Nach Modell
Qwen, gpt-oss, Mistral, Llama, Gemma, DeepSeek und weitere: was auf einem Server im Haus läuft, wie gut das Deutsch ist, wo die Grenze liegt.
Qwen lokal
Das Allround-Modell für Deutsch, lange Dokumente und Bilder auf einer Grafikkarte
gpt-oss lokal
Das offene Modell von OpenAI: sehr schnell, stark bei Logik, wenig Speicher
Mistral lokal
Das europäische Modell mit dem natürlichsten Deutsch, Apache-Lizenz, lokal betreibbar
Llama lokal
Die Modellfamilie von Meta: weit verbreitet, viele Werkzeuge, eigene Lizenz
Gemma lokal
Googles offenes Modell: klein, dicht, stark für seine Größe, gut für kleinere Server
DeepSeek lokal
Sehr stark, sehr groß, MIT-Lizenz: passt nicht auf eine Karte, lohnt nur mit mehreren
Nemotron lokal
NVIDIAs offenes Modell, auf die eigene Hardware abgestimmt, mit besonderer Architektur
Teuken und EuroLLM
Die europäischen Modelle aus Forschung und Förderung: 24 Sprachen, aber klein
Whisper lokal
Spracherkennung im Haus: Besprechungen und Baustellen werden zu Protokollen, ohne Cloud
Embedding-Modelle lokal
Das Modell hinter der Suche: macht Text zu Vektoren, damit das Gedächtnis findet
Kleine Modelle lokal
Modelle unter zehn Milliarden Parametern: auf jedem Rechner, für klare Aufgaben
Multimodale Modelle lokal
Modelle, die Bilder, Pläne und Scans sehen: damit auch das Foto von der Baustelle auffindbar wird
Nach Branche
Statik, Brandschutz, TGA, Bauphysik, Vermessung, Tiefbau, Projektsteuerung: wer keine Cloud darf, und was lokale KI in diesem Fach tut.
Architekturbüro
Projektakten, Bauanträge und Ausschreibungen im Haus durchsuchen, ohne dass Entwürfe in eine Cloud gehen
Ingenieurbüro
Nachweise, Gutachten und Bestandsunterlagen aus Jahrzehnten im eigenen Netz durchsuchen
Brandschutzplanung
Brandschutzkonzepte, Nachweise und Objektakten sicherheitsrelevanter Gebäude im eigenen Netz
Sachverständige und Gutachter
Gutachten, Normen und Ortstermine im Haus, Fundstelle statt Erinnerung
Tragwerksplanung
Nachweise, Positionen und Prüfberichte aus zwei Jahrzehnten im eigenen Netz durchsuchen
TGA-Planung
Auslegungen, Schemata und Herstellerdaten der Gebäudetechnik im eigenen Netz
Bauphysik
Nachweise zu Wärme, Schall und Feuchte samt Messprotokollen im eigenen Netz
Vermessung
Aufnahmen, Katasterunterlagen und Punktwolken im eigenen Netz, ohne Cloud
Projektsteuerung
Der belastbare Projektstand über alle Beteiligten, ohne nachzufragen
Tiefbau und Infrastruktur
Trassen, Massen und Bestandsdaten mit vielen Beteiligten, im eigenen Netz
Landschaftsarchitektur
Pflanzlisten, Auflagen und Pflegebindungen vom Wettbewerb bis zur Abnahme
Projektentwicklung
Machbarkeit, Annahmen und vertrauliche Zahlen im eigenen Netz
SiGeKo
Begehungen, Fotos und SiGe-Pläne ohne Abendarbeit am Schreibtisch
Nach Thema
RAG lokal, Vektordatenbank, Rechte aus dem Active Directory, Hardware, Air-Gap, DSGVO, NIS2, Kosten, Betrieb, Sicherheits-Review. Die Fragen vor der Entscheidung.
RAG lokal
Antwort mit Quelle aus den eigenen Dokumenten, komplett auf dem eigenen Server
RAG oder Feintuning
Wissen anbinden oder Modell umtrainieren: was sich wann lohnt
Vektordatenbank lokal
Der Speicher hinter der Suche: wo die Bedeutung Ihrer Dokumente liegt
Embeddings verstehen
Wie aus Text Bedeutung wird, und warum die Suche daran hängt
Texterkennung für Scans
Die achtzig Prozent des Fileservers, die bisher nur Bilder waren
Spracherkennung und Protokolle
Besprechungen, Baustellen und Diktate werden zu Text, ohne Cloud
Rechte aus dem Active Directory
Jeder sieht nur, was er sehen darf, auch wenn er die KI fragt
Hardware für lokale KI
Was ein KI-Server wirklich braucht: Grafikkarte, Speicher, Platten, Strom
Welche Servergröße
Zwei Größenklassen, eine Warnung: was für wie viele Nutzer trägt
DSGVO bei lokaler KI
Was wegfällt, wenn nichts das Haus verlässt, und was trotzdem bleibt
NIS2 und lokale KI
Was die Richtlinie verlangt, wen sie trifft, und wo ein lokales System hilft
Air-Gap und Netztrennung
Komplett offline oder netzgetrennt mit kontrolliertem Ausgang: was wirklich nötig ist
Fernwartung und Updates
Wie ein System gepflegt wird, das nicht am Internet hängt
Was lokale KI kostet
Vier Posten: Hardware, Einführung, Betrieb, Förderung. Ehrlich sortiert
Förderung für lokale KI
Was an einem lokalen System förderfähig ist und in welcher Reihenfolge der Antrag läuft
Modellwahl mit Testsatz
Welches offene Modell zu Ihnen passt, entscheidet nicht die Bestenliste, sondern Ihr Testsatz
Cloud oder lokal
Wann Cloud-KI reicht, wann der eigene Server die bessere Wahl ist, mit beiden Seiten
Copilot oder lokal
Was Microsoft 365 Copilot sieht, was nicht, und wann eine lokale KI daneben oder stattdessen läuft
ChatGPT oder lokal
Was eine On-premise-Alternative zu ChatGPT leistet, wo sie besser ist und wo ChatGPT vorn bleibt
Betrieb als Managed Service
Der Server steht bei Ihnen, wir halten das System am Laufen, Ihre IT behält den Zugang
Sicherheits-Review
Externes Review und Berechtigungs-Leak-Test vor dem Go-live, als Pflicht, nicht als Option
Normen und Lizenzrecht
Warum DIN-Normen nicht als Volltext ins System dürfen, was stattdessen geht, was gemeinfrei ist
Mehrbenutzer-Inferenz
vLLM für zwanzig Nutzer, Ollama für den Einzeltest, zwei Modelle auf einer Karte
Bilder und Pläne durchsuchen
Multimodale Modelle lesen Pläne, Fotos und Skizzen und machen sie mit Quelle durchsuchbar
KI-Agenten lokal
Abläufe mit n8n und lokalem Modell automatisieren, im Haus, mit Freigabe durch einen Menschen
Migration von Cloud zu lokal
Wie Sie von ChatGPT, Copilot oder einem Cloud-Dienst auf den eigenen Server wechseln, ohne Stillstand
Lokale Wissensdatenbank
Ihr Wissen aus Dokumenten, Mails und Köpfen, fragbar in ganzen Sätzen, mit Quelle, im Haus
Lokale Dokumentensuche
Den Fileserver in Ihren Worten fragen und die Fundstelle bekommen, inklusive Scans, mit Rechten
◆Fachartikel zu diesem thema
Die Einzelfragen, im Detail
Zu jedem Programm und jedem Arbeitsablauf ein eigener Artikel: was sich anbinden lässt, was dabei herauskommt und wo die Grenze liegt.
ERP, PLM und Verwaltung
DATEV
Belege und Mandantenwissen finden, ohne einen einzigen Buchungssatz zu erzeugen
ERP, PLM und Verwaltung
Lexware
Rechnungen und Offene Posten erschließen, ohne in die Buchhaltung zu schreiben
Bürosoftware und Ablage
Nextcloud
Eigene Ablage erschließen, der Weg bleibt vollständig im Haus
KI und IT
Serverauswahl
Anforderungen aus Modellgröße, Nutzerzahl und Antwortzeit
KI und IT
Sicherung und Ausfall
Drei Dinge sichern, Wiederanlauf üben, keine Abhängigkeit erzeugen
KI und IT
Laufender Betrieb
Überwachen, aktualisieren, jemanden benennen
Womit wir entwickeln
n8n
Ablaufwerkzeug für einfache Ketten, nicht als Rückgrat
Womit wir entwickeln
Google Gemini API
Für große Mengen Text, Bilder und Pläne in einem Durchgang
◆Fachbeiträge zum thema
Im Detail nachlesen
Beiträge aus unserer Arbeit zu Lokale KI im eigenen Haus. Jeder beantwortet eine Frage, die uns im Termin gestellt wurde.
Fachbeitrag
On-Premise LLMs 2026: Wann lokales Hosting Sinn macht: und wann Cloud reicht
Llama, Mistral und andere Open-Source-LLMs laufen auf Ihrer eigenen Hardware. Wann das ökonomisch und regulatorisch Sinn ergibt: und wann Cloud-DSGVO ausreicht.
Fachbeitrag
Mistral AI: Die europäische LLM-Alternative für DSGVO-sensible Betriebe
Mistral ist der französische Champion der LLM-Welt: und für deutsche Planungsbüros oft die DSGVO-pragmatischste Option. Was Mistral Large 2, Codestral und Pixtral für Planungsbüros 2026 liefern.
Fachbeitrag
Claude, ChatGPT, Gemini: Welches LLM passt für welchen deutschen Planungsbüros 2026?
Drei Top-LLMs, drei unterschiedliche Profile. Was Claude (Anthropic), ChatGPT (OpenAI) und Gemini (Google) für deutsche Planungsbüros unterschiedlich gut machen: mit klarer Empfehlung pro Use-Case.
Fachbeitrag
Multimodal AI: Wenn KI Bild, Sprache und Text gleichzeitig versteht
Multimodale Modelle verstehen nicht nur Text: sondern auch Fotos, Skizzen, Zeichnungen, Sprache. Was das für sächsische Maschinenbauer, Handwerker und Dienstleister bedeutet, wenn ein Foto die Anfrage ist.
Fachbeitrag
Souveränität schlägt KI: Warum lokale Systeme 2026 plötzlich ernst genommen werden
45 Prozent der EuroCloud-Mitglieder sehen digitale Souveränität als Trend Nummer eins für 2026, noch vor künstlicher Intelligenz. Was sich geändert hat, warum die Frage jetzt in Ausschreibungen landet, und wo lokale KI weiterhin schlechter ist.
Fachbeitrag
Offene Modelle 2026: Was im eigenen Haus wirklich läuft, und warum die Modellwahl überschätzt wird
Qwen, DeepSeek, Llama, Mistral, Gemma, gpt-oss, GLM, Nemotron: Die Liste der offenen Modellfamilien ist länger und besser als je zuvor. Eine Einordnung, was sie unterscheidet, warum sie plötzlich auf kleiner Hardware laufen, und welche Entscheidung stattdessen zählt.
◆Der nächste Schritt
Was kostet Sie das Suchen
im Monat?
Die wenigsten Büros haben das je ausgerechnet. Im Termin machen wir es zusammen: Stunden pro Woche, was eine Stunde bei Ihnen kostet, was im letzten Jahr deswegen schiefgegangen ist. Über uns reden wir erst danach.
- Dreißig Minuten, per Video oder Telefon
- Wir fragen nach Zahlen, nicht nach Ihrem Interesse an KI
- Danach wissen Sie, ob sich das für Sie lohnt. Auch wenn die Antwort nein ist
Keine Folien, keine Verkaufsshow. Wenn es nicht passt, sagen wir das im Termin.