Fachartikel · KI und IT

Welche Hardware braucht ein lokales KI-System?

◆Kurz gesagt

Ein lokales KI-System braucht vor allem Grafikspeicher, denn er entscheidet, welches Modell überhaupt vollständig hineinpasst. Dazu kommen ausreichend Arbeitsspeicher, schnelle Datenträger für den Suchindex und eine Stromversorgung samt Kühlung, die Dauerlast aushält. Die richtige Größe ergibt sich aus Modellgröße, Zahl gleichzeitiger Nutzer und Antwortzeit. Wir legen diese drei Werte vorher fest und leiten die Anforderungen daraus ab.

Die Frage nach der Hardware kommt früh, und sie wird meistens falsch herum gestellt. Nicht die Maschine bestimmt, was geht, sondern die Anforderung bestimmt die Maschine. Wer zuerst beschafft und dann überlegt, liegt entweder zu klein und merkt es im Betrieb oder zu groß und merkt es nie. Wir nennen hier bewusst keine Produkte, sondern Eigenschaften, die Sie mit jedem Anbieter durchgehen können.

Stand: September 2026

Ein offener Serverschrank mit leuchtendem Glaskern, von dem Kupferleitungen zu vier Endpunkten führen

◆Der weg der daten

Serverauswahl auf einer Tafel

01

Was hereinkommt

Aus den Programmen, die Sie ohnehin nutzen.

  • Modellgröße, Gleichzeitigkeit und Antwortzeit werden vor jeder Beschaffung schriftlich festgelegt
  • Die Anforderungen an Grafikspeicher, Arbeitsspeicher und Datenträger werden daraus abgeleitet
  • Der vorgesehene Standort wird auf Strom, Kühlung, Netz und Zutritt geprüft
  • Die Anforderungen werden so formuliert, dass Sie bei mehreren Anbietern vergleichbar anfragen können
  • Vor der Abnahme wird unter Last gemessen, ob die zugesagte Antwortzeit tatsächlich gehalten wird
02

Wovon dieser Artikel handelt

Springen Sie direkt zu dem Punkt, der Sie betrifft.

03

Was beim Menschen bleibt

Die Entscheidung, und die Verantwortung dafür.

  • Hardware löst kein Datenproblem.
  • Eine größere Maschine antwortet schneller falsch, wenn der Bestand unsauber ist.
  • Außerdem altert diese Art von Technik schnell, und Modelle werden gleichzeitig sparsamer, deshalb ist eine Beschaffung auf Vorrat für die nächsten Jahre meistens verlorenes Geld.

Die Tafel zeigt den Weg im Grundsatz. Wie er in Ihrem Büro aussieht, hängt daran, welche Programme im Einsatz sind und wie sauber darin gepflegt wird. Genau das klären wir im Audit, bevor etwas entwickelt wird.

01

Die drei Werte, aus denen alles folgt

Bevor irgendeine Komponente ausgewählt wird, müssen drei Zahlen feststehen. Sie sind keine technischen Größen, sondern betriebliche Entscheidungen.

  • Modellgröße: Welches Sprachmodell soll laufen, und passt es vollständig in den Grafikspeicher
  • Gleichzeitigkeit: Wie viele Anfragen treffen zur Spitzenzeit zusammen ein
  • Antwortzeit: Wie schnell muss eine Antwort da sein, damit sie im Arbeitsablauf getragen wird
  • Bestandsgröße: Wie viele Dokumente stehen im Index und wie schnell wächst er
  • Verfügbarkeit: Darf das System für Wartung stehen oder nicht
02

Was an der Grafikkarte wirklich zählt

Der wichtigste Wert ist die Menge an Grafikspeicher, nicht die reine Rechenleistung. Passt ein Modell nicht vollständig hinein, wird ausgelagert, und die Antwortzeit bricht ein, unabhängig davon, wie schnell die Karte sonst ist. Der zweite Wert ist die Speicherbandbreite, weil sie die Ausgabegeschwindigkeit bestimmt. Alles andere ist nachrangig, und genau deshalb ist die teuerste Karte nicht automatisch die richtige.

03

Der Rest der Maschine

Arbeitsspeicher wird gebraucht, um Dokumente vor der Verarbeitung zu halten, und er ist der einfachste Weg, sich Ärger zu ersparen. Der Suchindex gehört auf schnelle Datenträger, weil er bei jeder Frage gelesen wird. Das Netz muss die Anbindung an Ihre Ablage tragen, sonst wartet die Maschine auf Dateien. Und Stromversorgung samt Kühlung müssen Dauerlast aushalten, nicht Spitzenlast, denn ein KI-Server läuft anders als ein Dateiserver.

04

Wo der Server steht

Ein solcher Server gehört in einen Raum mit Klimatisierung, unterbrechungsfreier Stromversorgung und Zutrittsschutz. In vielen Häusern ist genau das der eigentliche Engpass, nicht die Maschine. Wenn kein geeigneter Raum vorhanden ist, ist die Unterbringung in einem deutschen Rechenzentrum die ehrlichere Lösung als ein Serverschrank in der Abstellkammer. Diese Frage klären wir in der Planung, nicht bei der Anlieferung.

◆Wo die Grenze liegt

Hardware löst kein Datenproblem. Eine größere Maschine antwortet schneller falsch, wenn der Bestand unsauber ist. Außerdem altert diese Art von Technik schnell, und Modelle werden gleichzeitig sparsamer, deshalb ist eine Beschaffung auf Vorrat für die nächsten Jahre meistens verlorenes Geld. Und nicht jedes Haus braucht überhaupt eigene Hardware: Wo keine besonderen Anforderungen an den Datenweg bestehen, ist der Betrieb über einen europäischen Anbieter die nüchternere Wahl.

Häufig gefragt

Können wir mit vorhandener Hardware anfangen?

Oft ja, für einen Piloten. Eine vorhandene Arbeitsstation mit ausreichend Grafikspeicher trägt eine kleine Gruppe erstaunlich weit. Für den Dauerbetrieb mit mehreren Abteilungen reicht das nicht, weil Verfügbarkeit, Kühlung und Zutrittsschutz fehlen.

Brauchen wir zwei Maschinen für den Ausfall?

Das hängt daran, wie kritisch das System ist. Solange kein Arbeitsschritt zwingend daran hängt, reicht eine Maschine mit sauberem Wiederanlauf. Sobald Vorgänge ohne das System stehenbleiben, gehört eine zweite dazu.

Warum nennen Sie keine konkreten Modelle?

Weil jede Empfehlung nach wenigen Monaten veraltet ist und weil Produktnamen die falsche Diskussion auslösen. Sinnvoll ist eine Anforderungsliste in Eigenschaften, mit der Sie selbst vergleichen können. Diese Liste erstellen wir mit Ihnen.

Wohin gehen unsere Daten dabei?

Das entscheiden Sie. Beim lokalen Betrieb laufen Modell, Suche und Index auf einem Server in Ihrem Haus, kein Cloud-Dienst liegt im Datenpfad. Beim Betrieb über europäische Anbieter regeln wir die Verarbeitung über einen Vertrag zur Auftragsverarbeitung. Beides legen wir so an, dass der Weg jedes Dokuments nachvollziehbar bleibt.

Wird so ein Vorhaben gefördert?

Oft ja, und das hängt an Ihrem Bundesland, an der Betriebsgröße und daran, was genau umgesetzt wird. Wir prüfen das vor dem Erstgespräch für Ihren Fall und sagen Ihnen ehrlich, ob sich der Antragsaufwand lohnt. Wenn ja, liefern wir die Unterlagen, die von uns kommen müssen.

◆Fachwörter aus diesem artikel

Sie wollen wissen, was sich bei Ihnen anbinden lässt?

Dreißig Minuten, per Video oder Telefon. Wir fragen nach Ihren Programmen und nach Zahlen, nicht nach Ihrem Interesse an KI.

Termin vereinbaren

◆Der nächste Schritt

Was kostet Sie das Suchen
im Monat?

Die wenigsten Büros haben das je ausgerechnet. Im Termin machen wir es zusammen: Stunden pro Woche, was eine Stunde bei Ihnen kostet, was im letzten Jahr deswegen schiefgegangen ist. Über uns reden wir erst danach.

  • Dreißig Minuten, per Video oder Telefon
  • Wir fragen nach Zahlen, nicht nach Ihrem Interesse an KI
  • Danach wissen Sie, ob sich das für Sie lohnt. Auch wenn die Antwort nein ist

Keine Folien, keine Verkaufsshow. Wenn es nicht passt, sagen wir das im Termin.