Lokale KI

KI, die im Haus läuft und Ihnen gehört.

Lokale KI heißt: ein Server mit Profi-Grafikkarte, offene Sprachmodelle und eine Wissensdatenbank mit Rechten aus dem Active Directory, ohne Cloud-Dienst im Datenpfad. Hier steht, welches Modell, welche Hardware und welcher Weg zu Ihrem Büro passt.

Zum Webinar am 1. DezemberLieber direkt sprechen

Aufbau

Fünf Teile, alle in Ihrem Haus.

Die Maschine steht bei Ihnen, die Dokumente bleiben, wo sie liegen.

Ein lokales System

5von 5 Teilen

KI-generiertes Bild: Ein aufgeschnittenes Bürogebäude mit einer leuchtenden Maschine darin, umschlossen von einem geschlossenen Kupferring, aus dem keine Leitung herausführt

  1. Schritt 1: Server mit Profi-GrafikkarteHardware

    Steht in Ihrem Serverraum, so groß wie Nutzer und Bestand.

  2. Schritt 2: Offenes SprachmodellModell

    Freie Lizenz, ausgewählt an Ihren eigenen Fragen.

  3. Schritt 3: WissensdatenbankRAG

    Jede Antwort nennt ihre Quelle.

  4. Schritt 4: Rechte aus dem Active DirectoryRechte

    Wer ein Dokument nicht öffnen darf, bekommt keine Antwort daraus.

  5. Schritt 5: Kein Cloud-Dienst im DatenpfadDSGVO

    Keine Übermittlung nach außen, kein Auftragsverarbeiter.

Aus dem Ring führt keine Leitung heraus.

Übersicht

Nach Modell

Was auf einem Server im Haus läuft, wie gut das Deutsch ist, wo die Grenze liegt.

12 Seiten
  • KI-generiert

    Lokale KI · Qwen

    Qwen lokal

    Das Allround-Modell für Deutsch, lange Dokumente und Bilder auf einer Grafikkarte

  • KI-generiert

    Lokale KI · Mistral

    Mistral lokal

    Das europäische Modell mit dem natürlichsten Deutsch, Apache-Lizenz, lokal betreibbar

gpt-oss lokalDas offene Modell von OpenAI: sehr schnell, stark bei Logik, wenig Speicher
Llama lokalDie Modellfamilie von Meta: weit verbreitet, viele Werkzeuge, eigene Lizenz
Gemma lokalGoogles offenes Modell: klein, dicht, stark für seine Größe, gut für kleinere Server
DeepSeek lokalSehr stark, sehr groß, MIT-Lizenz: passt nicht auf eine Karte, lohnt nur mit mehreren
Nemotron lokalNVIDIAs offenes Modell, auf die eigene Hardware abgestimmt, mit besonderer Architektur
Teuken und EuroLLMDie europäischen Modelle aus Forschung und Förderung: 24 Sprachen, aber klein
Whisper lokalSpracherkennung im Haus: Besprechungen und Baustellen werden zu Protokollen, ohne Cloud
Embedding-Modelle lokalDas Modell hinter der Suche: macht Text zu Vektoren, damit das Gedächtnis findet
Kleine Modelle lokalModelle unter zehn Milliarden Parametern: auf jedem Rechner, für klare Aufgaben
Multimodale Modelle lokalModelle, die Bilder, Pläne und Scans sehen: damit auch das Foto von der Baustelle auffindbar wird

Übersicht

Nach Branche

Wer keine Cloud darf, und was lokale KI in diesem Fach tut.

13 Seiten
  • KI-generiert

    Lokale KI · Architekturbüro

    Architekturbüro

    Projektakten, Bauanträge und Ausschreibungen im Haus durchsuchen, ohne dass Entwürfe in eine Cloud gehen

  • KI-generiert

    Lokale KI · Ingenieurbüro

    Ingenieurbüro

    Nachweise, Gutachten und Bestandsunterlagen aus Jahrzehnten im eigenen Netz durchsuchen

  • Brandschutzplanung

    Brandschutzkonzepte, Nachweise und Objektakten sicherheitsrelevanter Gebäude im eigenen Netz

  • Sachverständige und Gutachter

    Gutachten, Normen und Ortstermine im Haus, Fundstelle statt Erinnerung

  • Tragwerksplanung

    Nachweise, Positionen und Prüfberichte aus zwei Jahrzehnten im eigenen Netz durchsuchen

  • TGA-Planung

    Auslegungen, Schemata und Herstellerdaten der Gebäudetechnik im eigenen Netz

  • Bauphysik

    Nachweise zu Wärme, Schall und Feuchte samt Messprotokollen im eigenen Netz

  • Vermessung

    Aufnahmen, Katasterunterlagen und Punktwolken im eigenen Netz, ohne Cloud

  • Projektsteuerung

    Der belastbare Projektstand über alle Beteiligten, ohne nachzufragen

  • Tiefbau und Infrastruktur

    Trassen, Massen und Bestandsdaten mit vielen Beteiligten, im eigenen Netz

  • Landschaftsarchitektur

    Pflanzlisten, Auflagen und Pflegebindungen vom Wettbewerb bis zur Abnahme

  • Projektentwicklung

    Machbarkeit, Annahmen und vertrauliche Zahlen im eigenen Netz

  • SiGeKo

    Begehungen, Fotos und SiGe-Pläne ohne Abendarbeit am Schreibtisch

Cloud oder lokal

Wohin Ihre Frage geht.

Der Unterschied liegt nicht im Modell, sondern im Weg der Daten.

Der Weg einer Frage

in Ihrem Hausaußerhalb

KI-Dienst aus der Cloud

  1. in Ihrem Haus: Ihre Frage mit Dokument
  2. außerhalb: Internet
  3. außerhalb: Rechenzentrum des Anbieters
  4. außerhalb: Oft Unterauftragnehmer
  5. in Ihrem Haus: Antwort
Vertrag zur Auftragsverarbeitung nötig

Lokale KI

  1. in Ihrem Haus: Ihre Frage mit Dokument
  2. in Ihrem Haus: Server in Ihrem Haus
  3. in Ihrem Haus: Antwort mit Quelle
Kein Auftragsverarbeiter, keine Übermittlung
Vereinfacht: Wie ein Cloud-Dienst Daten verarbeitet, steht in dessen Vertrag.

Übersicht

Nach Thema

Die Fragen vor der Entscheidung: RAG, Rechte, Hardware, DSGVO, NIS2, Kosten, Betrieb.

28 Seiten
  • KI-generiert

    Lokale RAG-Systeme

    RAG lokal

    Antwort mit Quelle aus den eigenen Dokumenten, komplett auf dem eigenen Server

  • KI-generiert

    Lokale KI · Entscheidung

    Cloud oder lokal

    Wann Cloud-KI reicht, wann der eigene Server die bessere Wahl ist, mit beiden Seiten

RAG oder FeintuningWissen anbinden oder Modell umtrainieren: was sich wann lohnt
Vektordatenbank lokalDer Speicher hinter der Suche: wo die Bedeutung Ihrer Dokumente liegt
Embeddings verstehenWie aus Text Bedeutung wird, und warum die Suche daran hängt
Texterkennung für ScansDie achtzig Prozent des Fileservers, die bisher nur Bilder waren
Spracherkennung und ProtokolleBesprechungen, Baustellen und Diktate werden zu Text, ohne Cloud
Rechte aus dem Active DirectoryJeder sieht nur, was er sehen darf, auch wenn er die KI fragt
Hardware für lokale KIWas ein KI-Server wirklich braucht: Grafikkarte, Speicher, Platten, Strom
Welche ServergrößeZwei Größenklassen, eine Warnung: was für wie viele Nutzer trägt
DSGVO bei lokaler KIWas wegfällt, wenn nichts das Haus verlässt, und was trotzdem bleibt
NIS2 und lokale KIWas die Richtlinie verlangt, wen sie trifft, und wo ein lokales System hilft
Air-Gap und NetztrennungKomplett offline oder netzgetrennt mit kontrolliertem Ausgang: was wirklich nötig ist
Fernwartung und UpdatesWie ein System gepflegt wird, das nicht am Internet hängt
Was lokale KI kostetVier Posten: Hardware, Einführung, Betrieb, Förderung. Ehrlich sortiert
Förderung für lokale KIWas an einem lokalen System förderfähig ist und in welcher Reihenfolge der Antrag läuft
Modellwahl mit TestsatzWelches offene Modell zu Ihnen passt, entscheidet nicht die Bestenliste, sondern Ihr Testsatz
Copilot oder lokalWas Microsoft 365 Copilot sieht, was nicht, und wann eine lokale KI daneben oder stattdessen läuft
ChatGPT oder lokalWas eine On-premise-Alternative zu ChatGPT leistet, wo sie besser ist und wo ChatGPT vorn bleibt
Betrieb als Managed ServiceDer Server steht bei Ihnen, wir halten das System am Laufen, Ihre IT behält den Zugang
Sicherheits-ReviewExternes Review und Berechtigungs-Leak-Test vor dem Go-live, als Pflicht, nicht als Option
Normen und LizenzrechtWarum DIN-Normen nicht als Volltext ins System dürfen, was stattdessen geht, was gemeinfrei ist
Mehrbenutzer-InferenzvLLM für zwanzig Nutzer, Ollama für den Einzeltest, zwei Modelle auf einer Karte
Bilder und Pläne durchsuchenMultimodale Modelle lesen Pläne, Fotos und Skizzen und machen sie mit Quelle durchsuchbar
KI-Agenten lokalAbläufe mit n8n und lokalem Modell automatisieren, im Haus, mit Freigabe durch einen Menschen
Migration von Cloud zu lokalWie Sie von ChatGPT, Copilot oder einem Cloud-Dienst auf den eigenen Server wechseln, ohne Stillstand
Lokale WissensdatenbankIhr Wissen aus Dokumenten, Mails und Köpfen, fragbar in ganzen Sätzen, mit Quelle, im Haus
Lokale DokumentensucheDen Fileserver in Ihren Worten fragen und die Fundstelle bekommen, inklusive Scans, mit Rechten

Häufig gefragt

Was Büros vor der Entscheidung fragen.

Dürfen Pläne unter NDA überhaupt in eine KI?
Bei lokaler KI verlassen sie Ihr Haus nicht: Sprachmodell, Wissensdatenbank und Rechte laufen auf Ihrem Server. Ins Gedächtnis kommt nur, was Sie Ordner für Ordner freigeben.
Wer im Büro sieht was?
Jeder nur, was er auch in der Ablage öffnen darf. Die Rechte kommen aus Ihrem Active Directory. Wer ein Dokument nicht öffnen darf, bekommt auch keine Antwort daraus.
Wird mit unseren Daten ein Modell trainiert?
Nein. Das Modell liest Ihre Unterlagen, um zu antworten, und lernt nichts daraus dazu. Jede Antwort ist belegt, mit der Quelle in Ihrer Ablage.
Büro-Gedächtnis mit EU-Servern oder lokale KI im Haus: Was ist der Unterschied?
Es sind zwei Wege. Beim Büro-Gedächtnis liest ein kleiner Rechner im Büro Ihre Ablage, die Originale bleiben, wo sie sind. Nur Textstücke gehen in eine Datenbank auf Servern in der EU, dort wird gesucht und geantwortet, mit Auftragsverarbeitungsvertrag. Bei der lokalen KI läuft alles bei Ihnen im Haus: Server mit Profi-Grafikkarte, Sprachmodell, Wissensdatenbank und Rechte, ohne Cloud-Dienst im Datenpfad. So arbeitet auch die KI-Appliance neben Ihrem NAS.
Brauchen wir dafür neue Hardware?
Für die lokale KI ja, einen Server mit Profi-Grafikkarte. Gekauft wird aber erst, wenn der Plan steht und klar ist, wie groß er sein muss. An Ihrem vorhandenen Server wird nichts umgebaut.
Lohnt sich das, wenn sich die Modelle ständig ändern?
Ja, denn Ihr Bestand und Ihre Abläufe bleiben. Kommt ein besseres offenes Modell, wird nur das Modell getauscht. Wissensdatenbank und Rechte bleiben, wie sie sind.

Weiterlesen

Im Detail nachlesen.

Fachartikel zu Programmen und Betrieb, Beiträge aus unserer Arbeit.

Fachartikel zur lokalen KI

Alle Fachartikel
DATEVBelege und Mandantenwissen finden, ohne einen einzigen Buchungssatz zu erzeugen
LexwareRechnungen und Offene Posten erschließen, ohne in die Buchhaltung zu schreiben
NextcloudEigene Ablage erschließen, der Weg bleibt vollständig im Haus
ServerauswahlAnforderungen aus Modellgröße, Nutzerzahl und Antwortzeit
Sicherung und AusfallDrei Dinge sichern, Wiederanlauf üben, keine Abhängigkeit erzeugen
Laufender BetriebÜberwachen, aktualisieren, jemanden benennen
n8nAblaufwerkzeug für einfache Ketten, nicht als Rückgrat
Google Gemini APIFür große Mengen Text, Bilder und Pläne in einem Durchgang

Lokale KI im eigenen Haus

Zum Blog
On-Premise-LLMs 2026: Wann lokales Hosting Sinn ergibt und wann die Cloud reichtLlama, Mistral und andere Open-Source-LLMs laufen auf Ihrer eigenen Hardware. Wann das ökonomisch und regulatorisch Sinn ergibt: und wann Cloud-DSGVO ausreicht.
Mistral AI: Die europäische LLM-Alternative für DSGVO-sensible BetriebeMistral ist der französische Champion der LLM-Welt: und für deutsche Planungsbüros oft die DSGVO-pragmatischste Option. Was Mistral Large 2, Codestral und Pixtral für Planungsbüros 2026 liefern.
Claude, ChatGPT oder Gemini: Welches LLM passt 2026 zu deutschen Planungsbüros?Drei Top-LLMs, drei unterschiedliche Profile. Was Claude (Anthropic), ChatGPT (OpenAI) und Gemini (Google) für deutsche Planungsbüros unterschiedlich gut machen: mit klarer Empfehlung pro Use-Case.
Multimodal AI: Wenn KI Bild, Sprache und Text gleichzeitig verstehtMultimodale Modelle verstehen nicht nur Text: sondern auch Fotos, Skizzen, Zeichnungen, Sprache. Was das für sächsische Maschinenbauer, Handwerker und Dienstleister bedeutet, wenn ein Foto die Anfrage ist.
Souveränität schlägt KI: Warum lokale Systeme 2026 plötzlich ernst genommen werden45 Prozent der EuroCloud-Mitglieder sehen digitale Souveränität als Trend Nummer eins für 2026, noch vor künstlicher Intelligenz. Was sich geändert hat, warum die Frage jetzt in Ausschreibungen landet, und wo lokale KI weiterhin schlechter ist.
Offene Modelle 2026: Was im eigenen Haus wirklich läuft, und warum die Modellwahl überschätzt wirdQwen, DeepSeek, Llama, Mistral, Gemma, gpt-oss, GLM, Nemotron: Die Liste der offenen Modellfamilien ist länger und besser als je zuvor. Eine Einordnung, was sie unterscheidet, warum sie plötzlich auf kleiner Hardware laufen, und welche Entscheidung stattdessen zählt.

Der nächste Schritt

Unser Ziel: keine Suchzeit mehr.

Sie fragen, die belegte Antwort steht mit Quelle da. Wie das geht, zeigen wir im Webinar: live mit Ronja, Eric und Max, mit echten Fragen aus Planungsbüros, gezeigt an einem Beispiel-Archiv. 60 Minuten, online, kostenlos. Nur für Planungs-, Ingenieur- und Architekturbüros.

Zum Webinar am 1. DezemberLieber direkt sprechen