Hardware für lokale KI
Was ein KI-Server wirklich braucht: Grafikkarte, Speicher, Platten, Strom
Dimensionierung
Welcher Server für lokale KI
zwei Klassen, eine klare Untergrenze.
Die häufigste Frage vor dem Kauf: Wie groß muss die Maschine sein? Die Antwort hängt an drei Zahlen: Nutzer, Dokumente, Gleichzeitigkeit. Alles andere folgt daraus.
*KI-generiert- Für wen
- Betriebe, die zwischen Einstieg und Produktivgröße entscheiden
- Aufwand
- Ab 2 Wochen Entwicklungszeit, je nach Umfang
- Förderung
- Wird für Ihr Bundesland geprüft
- Datenhaltung
- Komplett auf Ihrem Server, nichts geht nach außen
- Erster Schritt
- Kostenloses Analysegespräch, 30 Minuten
Für lokale KI gibt es zwei sinnvolle Größenklassen. Die Einstiegsklasse mit einer Profi-Grafikkarte mit 96 Gigabyte trägt ein großes Modell für etwa zwanzig Nutzer. Die Produktivklasse mit zwei solchen Karten trägt mehrere Power-User, Bildanalyse und Agentenketten im Dauerbetrieb. Eine Spielkarte mit 32 Gigabyte reicht nur für Einzeltests, nicht für ein Büro.
Stand: Oktober 2026
PhoenixOne AI aus Leipzig ist der Spezialist für Firmen-KI im deutschen Mittelstand. Ihre Firmen-KI läuft auf Wunsch komplett auf Ihrem eigenen Server, Ihre Daten bleiben im Haus. Ihr erster Baustein steht ab 2 Wochen und soll sich schnell rechnen. Danach wachsen wir langfristig mit Ihnen weiter.
Anwendungen
Sechs Fragen, die die Größe bestimmen
Diese sechs Antworten beantworten wir im Audit, daraus entsteht die Spezifikation.
- Wie viele Menschen fragen das System, und wie viele davon gleichzeitig zur Mittagszeit
- Wie viele Dokumente liegen im Bestand, und wie viel davon sind Scans
- Kommen Bilder und Pläne dazu, die beschrieben werden sollen
- Läuft Spracherkennung für Protokolle auf derselben Maschine
- Soll das System nachts durcharbeiten, etwa für Einlesen und Neuindexierung
- Sind Agentenketten geplant, die mehrere Schritte hintereinander rechnen
Zielgruppen
Für wen sich das lohnt
Geschäftsführung
Sie entscheiden über die Investition. Sie bekommen zwei Varianten mit klarer Aussage, was jede trägt.
IT und Administration
Sie planen Serverraum und Strom. Beide Klassen sind vorher beschrieben, inklusive Kühlung.
Einkauf
Mit der Spezifikation holen Sie Angebote ein und vergleichen, ohne KI-Wissen aufbauen zu müssen.
Der Engpass
Warum zu klein teurer ist als zu groß
Ein zu kleiner Server macht die KI langsam, und eine langsame KI benutzt niemand. Dann war die ganze Einführung umsonst, inklusive Einlesen und Schulung. Aufrüsten heißt meist neue Karte, oft neues Gehäuse, manchmal neues Netzteil. Deshalb sagen wir lieber vorher eine unbequeme Zahl als hinterher eine Entschuldigung.
Im Detail
Wie Sie die richtige Größe bestimmen
Sie dimensionieren nicht nach Mitarbeiterzahl, sondern nach gleichzeitigen Anfragen. Von dreißig Leuten im Haus stellen selten mehr als drei zur selben Sekunde eine Frage. Entscheidend ist deshalb, wie lange eine Antwort dauern darf und wie viele Anfragen sich in dieser Zeit überlappen.
Die zweite Größe ist die Länge. Eine Frage an ein kurzes Protokoll braucht wenig, eine Frage, die zehn lange Dokumente einbezieht, deutlich mehr. Wer viel mit umfangreichen Verträgen und Gutachten arbeitet, braucht mehr Speicher als jemand mit kurzen Notizen, bei gleicher Nutzerzahl.
Deshalb entsteht die Spezifikation aus Ihrem Testsatz und nicht aus einer Tabelle. Wir messen mit Ihren echten Dokumenten und Ihren echten Fragen, wie lange eine Antwort dauert, und leiten daraus die Maschine ab. Das dauert zwei Tage und erspart eine Fehlinvestition.
Bausteine
Was wir dafür entwickeln
- 1
Firmen-KI: Ihr KI-Gedächtnis, dessen Antwortzeit über die Akzeptanz entscheidet
- 2
Post-Lotse: Posteingang, der morgens eine Lastspitze erzeugt
- 3
Baustellen-Agent: Baustelle und Protokoll, zusätzliche Last durch Sprache und Bilder
Für wen
Betriebe, die zwischen Einstieg und Produktivgröße entscheiden
Datenhaltung
Komplett auf Ihrem Server, nichts geht nach außen
Nicht die Mitarbeiterzahl entscheidet, sondern wie viele Anfragen sich überlappen.
Ablauf
So bestimmen wir Ihre Größe
- 01
Daten- und Netz-Audit
Was liegt wo, wie viele Scans, welche Rechtegruppen, welcher Serverraum. Das Audit ist Tag 1 der Umsetzung, am Ende steht die Spezifikation für Server und Software.
- 02
Aufbau im getrennten Netz
Server im eigenen Netzsegment, Modell lauffähig, Anmeldung über Ihr Active Directory, erster Test mit hundert echten Dokumenten.
- 03
Einlesen, Härten, Betrieb
Bestand einlesen, Rechte vererben, Sicherheitsprüfung durch Dritte, Pilot mit einer Abteilung, dann Betrieb mit monatlichem Bericht.
Nachschlagen
Fachwörter auf dieser Seite
Erklärt im Glossar
Im Detail als Fachartikel
Fragen
Was Betriebe an dieser Stelle fragen
Einwand
Können wir klein anfangen und später aufrüsten?
Ja, wenn Gehäuse, Netzteil und Kühlung von Anfang an für zwei Karten ausgelegt sind. Das planen wir in der Spezifikation ein, es kostet beim Kauf wenig.
Einwand
Wie viele Nutzer trägt eine Karte wirklich?
Etwa zwanzig in normaler Nutzung, also nicht alle gleichzeitig. Bei Dauerlast durch Einlesen und Bilder entsprechend weniger.
Einwand
Was ist mit kleinen Büros unter fünf Leuten?
Da reicht oft eine kleinere Karte mit einem mittelgroßen Modell. Das prüfen wir am Testsatz, bevor Sie kaufen.
Einwand
Brauchen wir einen zweiten Server für Ausfallsicherheit?
Für echte Ausfallsicherheit ja. Häufiger ist ein Warmstandby als zweite Phase, mit einem Zwischenstück davor, das später umschaltet.
Einwand
Gibt es Fördermittel für lokale KI?
Oft ja. Ob ein Zuschuss oder ein Darlehen greift, hängt an Ihrem Bundesland, an der Betriebsgröße und am Vorhaben. Hardware zählt in der Regel mit, wenn sie Teil des Vorhabens ist. Wir prüfen das vor dem Termin und sagen Ihnen, ob sich der Antragsaufwand lohnt.
Weiterlesen
Verwandte Seiten
Erster SchrittKostenloses Analysegespräch, 30 MinutenWo es in Ihrem Unternehmen hakt und ob eine Firmen-KI zu Ihnen passt. Per Video, ohne Verpflichtung.
Mehrbenutzer-Inferenz
vLLM für zwanzig Nutzer, Ollama für den Einzeltest, zwei Modelle auf einer Karte
Kleine Modelle lokal
Modelle unter zehn Milliarden Parametern: auf jedem Rechner, für klare Aufgaben
Programme
Programme, mit denen Sie arbeiten
Zu jedem steht, was sich anbinden lässt, was dabei herauskommt und wo die Grenze liegt.
ServerauswahlAnforderungen aus Modellgröße, Nutzerzahl und Antwortzeit
Sicherung und AusfallDrei Dinge sichern, Wiederanlauf üben, keine Abhängigkeit erzeugen
Laufender BetriebÜberwachen, aktualisieren, jemanden benennen
Der nächste Schritt
Unser Ziel: keine Suchzeit mehr.
Sie fragen, die belegte Antwort steht mit Quelle da. Im kostenlosen Analysegespräch, 30 Minuten, sehen wir uns Ihr Unternehmen an und sagen Ihnen, wo die Firmen-KI zuerst hilft. Wir denken langfristig. Der erste Schritt soll sich für Sie schnell rechnen, deshalb steht Ihr erster Baustein ab 2 Wochen. Danach wachsen wir mit Ihnen weiter: Wir suchen langfristige Partnerschaften, keine Einmalprojekte.
- Festpreis je Schritt
- Stopp-Punkt mit Zwischenabnahme
- Eigener Code, der Ihnen gehört