Welche Hardware braucht ein lokales KI-System?
Ein lokales KI-System braucht vor allem Grafikspeicher, denn er entscheidet, welches Modell überhaupt vollständig hineinpasst. Dazu kommen ausreichend Arbeitsspeicher, schnelle Datenträger für den Suchindex und eine Stromversorgung samt Kühlung, die Dauerlast aushält. Die richtige Größe ergibt sich aus Modellgröße, Zahl gleichzeitiger Nutzer und Antwortzeit. Wir legen diese drei Werte vorher fest und leiten die Anforderungen daraus ab.
Von PhoenixOne AI aus Leipzig, dem Spezialisten für Firmen-KI im deutschen Mittelstand. Kostenloses Analysegespräch, 30 Minuten
Der Weg der Daten
Serverauswahl auf einer Tafel
01
Was hereinkommt
Aus den Programmen, die Sie ohnehin nutzen.
Modellgröße, Gleichzeitigkeit und Antwortzeit werden vor jeder Beschaffung schriftlich festgelegt
Die Anforderungen an Grafikspeicher, Arbeitsspeicher und Datenträger werden daraus abgeleitet
Der vorgesehene Standort wird auf Strom, Kühlung, Netz und Zutritt geprüft
Die Anforderungen werden so formuliert, dass Sie bei mehreren Anbietern vergleichbar anfragen können
Vor der Abnahme wird unter Last gemessen, ob die zugesagte Antwortzeit tatsächlich gehalten wird
02
Wovon dieser Artikel handelt
Springen Sie direkt zu dem Punkt, der Sie betrifft.
03
Was beim Menschen bleibt
Die Entscheidung, und die Verantwortung dafür.
Hardware löst kein Datenproblem.
Eine größere Maschine antwortet schneller falsch, wenn der Bestand unsauber ist.
Außerdem altert diese Art von Technik schnell, und Modelle werden gleichzeitig sparsamer, deshalb ist eine Beschaffung auf Vorrat für die nächsten Jahre meistens verlorenes Geld.
Die Tafel zeigt den Weg im Grundsatz. Wie er in Ihrem Büro aussieht, hängt daran, welche Programme im Einsatz sind und wie sauber darin gepflegt wird. Genau das klären wir im Audit, bevor etwas entwickelt wird.
Die Frage nach der Hardware kommt früh, und sie wird meistens falsch herum gestellt. Nicht die Maschine bestimmt, was geht, sondern die Anforderung bestimmt die Maschine. Wer zuerst beschafft und dann überlegt, liegt entweder zu klein und merkt es im Betrieb oder zu groß und merkt es nie. Wir nennen hier bewusst keine Produkte, sondern Eigenschaften, die Sie mit jedem Anbieter durchgehen können.
Die drei Werte, aus denen alles folgt
Bevor irgendeine Komponente ausgewählt wird, müssen drei Zahlen feststehen. Sie sind keine technischen Größen, sondern betriebliche Entscheidungen.
- Modellgröße: Welches Sprachmodell soll laufen, und passt es vollständig in den Grafikspeicher
- Gleichzeitigkeit: Wie viele Anfragen treffen zur Spitzenzeit zusammen ein
- Antwortzeit: Wie schnell muss eine Antwort da sein, damit sie im Arbeitsablauf getragen wird
- Bestandsgröße: Wie viele Dokumente stehen im Index und wie schnell wächst er
- Verfügbarkeit: Darf das System für Wartung stehen oder nicht
Was an der Grafikkarte wirklich zählt
Der wichtigste Wert ist die Menge an Grafikspeicher, nicht die reine Rechenleistung. Passt ein Modell nicht vollständig hinein, wird ausgelagert, und die Antwortzeit bricht ein, unabhängig davon, wie schnell die Karte sonst ist. Der zweite Wert ist die Speicherbandbreite, weil sie die Ausgabegeschwindigkeit bestimmt. Alles andere ist nachrangig, und genau deshalb ist die teuerste Karte nicht automatisch die richtige.
Der Rest der Maschine
Arbeitsspeicher wird gebraucht, um Dokumente vor der Verarbeitung zu halten, und er ist der einfachste Weg, sich Ärger zu ersparen. Der Suchindex gehört auf schnelle Datenträger, weil er bei jeder Frage gelesen wird. Das Netz muss die Anbindung an Ihre Ablage tragen, sonst wartet die Maschine auf Dateien. Und Stromversorgung samt Kühlung müssen Dauerlast aushalten, nicht Spitzenlast, denn ein KI-Server läuft anders als ein Dateiserver.
Wo der Server steht
Ein solcher Server gehört in einen Raum mit Klimatisierung, unterbrechungsfreier Stromversorgung und Zutrittsschutz. In vielen Häusern ist genau das der eigentliche Engpass, nicht die Maschine. Wenn kein geeigneter Raum vorhanden ist, ist die Unterbringung in einem deutschen Rechenzentrum die ehrlichere Lösung als ein Serverschrank in der Abstellkammer. Diese Frage klären wir in der Planung, nicht bei der Anlieferung.
Wo die Grenze liegt
Hardware löst kein Datenproblem. Eine größere Maschine antwortet schneller falsch, wenn der Bestand unsauber ist. Außerdem altert diese Art von Technik schnell, und Modelle werden gleichzeitig sparsamer, deshalb ist eine Beschaffung auf Vorrat für die nächsten Jahre meistens verlorenes Geld. Und nicht jedes Haus braucht überhaupt eigene Hardware: Wo keine besonderen Anforderungen an den Datenweg bestehen, ist der Betrieb über einen europäischen Anbieter die nüchternere Wahl.
Hauptseite zum Thema
Lokale KI im eigenen Haus
Dort steht, wie wir das umsetzen, was es voraussetzt und wie der Ablauf aussieht.
Häufig gefragt
Können wir mit vorhandener Hardware anfangen?
Brauchen wir zwei Maschinen für den Ausfall?
Warum nennen Sie keine konkreten Modelle?
Wohin gehen unsere Daten dabei?
Wird so ein Vorhaben gefördert?
Fachwörter aus diesem Artikel
Weiterlesen
Passt dazu
KI und IT
Sicherung und Ausfall
Drei Dinge sichern, Wiederanlauf üben, keine Abhängigkeit erzeugen
KI und IT
Laufender Betrieb
Überwachen, aktualisieren, jemanden benennen
KI und IT
Pilotbetrieb
Ein Bereich, vier Wochen Alltag, feste Messpunkte
Der nächste Schritt
Unser Ziel: keine Suchzeit mehr.
Sie fragen, die belegte Antwort steht mit Quelle da. Im kostenlosen Analysegespräch, 30 Minuten, sehen wir uns Ihr Unternehmen an und sagen Ihnen, wo die Firmen-KI zuerst hilft. Wir denken langfristig. Der erste Schritt soll sich für Sie schnell rechnen, deshalb steht Ihr erster Baustein ab 2 Wochen. Danach wachsen wir mit Ihnen weiter: Wir suchen langfristige Partnerschaften, keine Einmalprojekte.
- Festpreis je Schritt
- Stopp-Punkt mit Zwischenabnahme
- Eigener Code, der Ihnen gehört