Hardware
Hardware für lokale KI
die Karte allein macht es nicht.
Die Grafikkarte ist das teuerste Teil, aber nicht das einzige. Wir haben Projekte gesehen, die an zu wenig Arbeitsspeicher scheiterten, während die Karte Däumchen drehte.
- Für wen
- Betriebe vor der Beschaffung eines KI-Servers
- Aufwand
- 15 Arbeitstage bis zur Spezifikation
- Förderung
- Wird für Ihr Bundesland geprüft
- Datenhaltung
- Komplett auf Ihrem Server, nichts geht nach außen
- Erster Schritt
- Dreißig Minuten Erstgespräch per Video
Ein lokaler KI-Server braucht eine Profi-Grafikkarte mit viel Speicher, dazu genug Kerne für Texterkennung und Einlesen, reichlich Arbeitsspeicher, schnelle Platten für Index und Modelle sowie redundante Netzteile und eine unterbrechungsfreie Stromversorgung. Eine Karte mit 96 Gigabyte trägt ein großes Modell für etwa zwanzig Nutzer. Die genaue Spezifikation kommt aus dem Daten- und Netz-Audit.
Stand: September 2026
Der Engpass
Warum die Spielkarte nicht reicht
Eine Karte mit 32 Gigabyte trägt eine Einzelsuche und macht im Termin Eindruck. Zwanzig Nutzer, Texterkennung im Hintergrund und Bildanalyse tragen erst 96 Gigabyte. Das haben uns zwei unabhängige Fachleute bestätigt, nachdem ein Kunde mit einer kleineren Annahme gestartet war. Am falschen Ende gespart wirkt die beste Software lahm, und das Projekt bekommt zu Unrecht den Ruf, KI tauge nichts.
Woran bei der Hardware wirklich etwas hängt
Sie entscheiden im Kern über eine Zahl: den Speicher auf der Grafikkarte. Er bestimmt, wie groß das Modell sein darf und wie viel Text es auf einmal verarbeiten kann. Alles andere, Prozessor, Arbeitsspeicher, Platten, ist wichtig, aber selten der Engpass.
Der zweite Punkt wird regelmäßig übersehen: Strom und Kühlung. Eine Profi-Grafikkarte zieht dauerhaft Leistung und erzeugt Abwärme, die ein normaler Serverschrank nicht abführt. Wer das erst bei der Lieferung prüft, hat eine Maschine, die drosselt oder abschaltet, und wundert sich über die Antwortzeiten.
Deshalb prüfen wir im Audit drei Dinge vor Ort: verfügbare Stellfläche, Absicherung des Stromkreises und die Kühlung im Raum. Die Spezifikation entsteht danach, und Sie beschaffen selbst, damit die Maschine Ihnen gehört und nicht uns.
Sechs Bauteile, über die im Audit entschieden wird
Aus Spezifikationen, die von unabhängigen Lieferanten bestätigt wurden.
- Grafikkarte: eine Profi-Karte mit 96 Gigabyte für ein großes Modell und etwa zwanzig Nutzer
- Prozessor: 32 bis 48 Kerne, weil Texterkennung und Einlesen nicht auf der Grafikkarte laufen
- Arbeitsspeicher: 512 Gigabyte als vernünftige Größe, 256 als Untergrenze bei großen Beständen
- Platten: schnelle NVMe im Terabyte-Bereich für Index, Modelle und Zwischenergebnisse, gespiegelt
- Netzteile und Stromversorgung: redundant, mit unterbrechungsfreier Versorgung für den Dauerbetrieb
- Kühlung und Netz: Serverraum mit Klima, Anbindung mit zehn Gigabit oder mehr
Was wir dafür entwickeln
- 1
Büro-Gedächtnis: Ihr KI-Gedächtnis, dessen Antwortzeit direkt an der Karte hängt
Büro-Gedächtnis im Detail - 2
Baustellen-Agent: Baustelle und Protokoll, Spracherkennung braucht Reserve auf der Karte
Baustellen-Agent im Detail - 3
Post-Lotse: Posteingang, dessen Dauerlast im Hintergrund die Kerne beschäftigt
Post-Lotse im Detail
Der Engpass ist fast immer der Speicher auf der Grafikkarte. Danach kommt die Kühlung.
Für wen sich das lohnt
Geschäftsführung
Sie wollen wissen, was der Server kostet. Sie bekommen eine Spezifikation für eigene Angebote, keine Vermittlung.
IT und Administration
Sie betreiben die Maschine. Deshalb reden wir über Strom, Kühlung, Ersatzteile und Garantie, nicht nur über die Karte.
Einkauf
Mit der Spezifikation holen Sie Vergleichsangebote ein, auch für gebrauchte Serverhardware mit Garantie.
So entsteht Ihre Spezifikation
- Schritt 1
Bestand messen
Wie viele Dokumente, wie viele Scans, wie viele Nutzer, welche Spitzen. Das bestimmt die Größe.
- Schritt 2
Spezifikation
Sie bekommen eine Liste, die sich bei jedem Serverhaus anfragen lässt, ohne uns als Zwischenhändler.
- Schritt 3
Einrichtung
Sie beschaffen, wir richten ein: Betriebssystem, Container, Modell, Index, Härtung, Sicherheitsprüfung.
◆Fachwörter auf dieser Seite
Erklärt im Glossar
Was Betriebe an dieser Stelle fragen
Einwand
Beschaffen Sie den Server für uns?
Nein, bewusst nicht. Sie kaufen selbst nach unserer Spezifikation, dadurch bleibt Ihnen der Zwischenhandel erspart und das Gerät gehört Ihnen.
Einwand
Reicht eine Karte oder brauchen wir zwei?
Eine trägt etwa zwanzig Nutzer mit einem großen Modell. Zwei sind sinnvoll für Dauerbetrieb mit mehreren Power-Usern, Bildanalyse und Agentenketten.
Einwand
Geht auch gebrauchte Hardware?
Ja, mit Garantie und geprüften Komponenten ist das eine übliche Variante. Wir sagen, worauf zu achten ist.
Einwand
Ist Hardware förderfähig?
In Sachsen ist sie es, wenn sie Teil des Digitalisierungsvorhabens ist. In anderen Ländern prüfen wir das vor dem Termin.
Einwand
Gibt es Fördermittel für lokale KI?
Oft ja. Ob ein Zuschuss oder ein Darlehen greift, hängt an Ihrem Bundesland, an der Betriebsgröße und am Vorhaben. Hardware zählt in der Regel mit, wenn sie Teil des Vorhabens ist. Wir prüfen das vor dem Termin und sagen Ihnen, ob sich der Antragsaufwand lohnt.
Verwandte Seiten
Programme, mit denen Sie arbeiten
Zu jedem steht, was sich anbinden lässt, was dabei herauskommt und wo die Grenze liegt.
Sehen wir uns Ihren Bestand an.
Dreißig Minuten, per Video oder Telefon. Danach wissen Sie, ob lokale KI bei Ihnen trägt und was der erste Schritt ist.