Glossar · Architektur und Betrieb
Welche Grafikkarte braucht KI?
Eine Grafikkarte rechnet die Antworten eines Sprachmodells. Entscheidend ist ihr Speicher: Das Modell muss vollständig hineinpassen, dazu Reserve für gleichzeitige Anfragen. Eine Profi-Karte mit 96 Gigabyte trägt ein großes Modell für etwa zwanzig Nutzer. Eine Spielkarte mit 32 Gigabyte reicht für Einzeltests.
Auch genannt: GPU, Beschleuniger, VRAM
Stand:Von PhoenixOne AI aus Leipzig, dem Spezialisten für Firmen-KI im deutschen Mittelstand. Kostenloses Analysegespräch, 30 Minuten
Was das für Ihr Unternehmen heißt
Die Karte entscheidet über die Antwortzeit, und die Antwortzeit entscheidet darüber, ob das System benutzt wird. Zu klein gekauft heißt, dass die Einführung samt Einlesen und Schulung umsonst war.
Ein Fall aus dem Alltag
Ein Betrieb mit zwanzig Nutzern fragt, ob die vorhandene Arbeitsplatzkarte reicht. Sie reicht für einen Nutzer und für kleine Modelle. Sobald mehrere gleichzeitig fragen oder lange Dokumente im Spiel sind, ist der Speicher voll, und die Antworten dauern plötzlich dreimal so lange.
Wie wir es umsetzen
Wir spezifizieren die Karte nach Modellgröße, Nutzerzahl und Zusatzlast durch Texterkennung und Bildverarbeitung. Gehäuse und Netzteil planen wir so, dass eine zweite Karte später nachrüstbar ist.
Der häufigste Irrtum
Oft verwechselt mit der Rechenleistung des Prozessors. Für Sprachmodelle ist nicht die Rechenleistung der Engpass, sondern der Speicher auf der Karte. Er bestimmt, wie groß das Modell sein darf und wie viel Text es gleichzeitig verarbeitet.
Grenze
Wo die Grenze liegt
Die Karte allein macht es nicht. Texterkennung und Einlesen laufen auf dem Prozessor, dafür braucht es Kerne und Arbeitsspeicher.
Wo das bei uns vorkommt
Themenseite
Hardware für lokale KI
Themenseite
Welche Servergröße
Weiterlesen
Verwandte Begriffe
Architektur und Betrieb
On-Premise
Software läuft auf Ihrem Server, nicht beim Anbieter
Architektur und Betrieb
Inferenz
Das Ausführen eines Modells, und warum die Software dafür zählt
Architektur und Betrieb
Quantisierung
Modelle verkleinern, damit sie auf die Karte passen, ohne viel zu verlieren
KI-Grundlagen
Mixture of Experts
Warum ein großes Modell trotzdem schnell sein kann
Der nächste Schritt
Unser Ziel: keine Suchzeit mehr.
Sie fragen, die belegte Antwort steht mit Quelle da. Im kostenlosen Analysegespräch, 30 Minuten, sehen wir uns Ihr Unternehmen an und sagen Ihnen, wo die Firmen-KI zuerst hilft. Wir denken langfristig. Der erste Schritt soll sich für Sie schnell rechnen, deshalb steht Ihr erster Baustein ab 2 Wochen. Danach wachsen wir mit Ihnen weiter: Wir suchen langfristige Partnerschaften, keine Einmalprojekte.
- Festpreis je Schritt
- Stopp-Punkt mit Zwischenabnahme
- Eigener Code, der Ihnen gehört