Glossar · Architektur und Betrieb
Was ist Quantisierung bei KI-Modellen?
Quantisierung speichert die Werte eines Modells mit weniger Nachkommastellen. Dadurch schrumpft der Speicherbedarf deutlich, während die Antwortqualität nur leicht sinkt. So passt ein Modell mit hundert Milliarden Parametern auf eine einzelne Grafikkarte, statt mehrere zu brauchen.
Auch genannt: Quantisierte Modelle, Q4, FP8
Stand:
Was das für Ihr Büro heißt
Quantisierung ist der Grund, warum lokale KI für einen Mittelständler bezahlbar ist. Ohne sie bräuchte dasselbe Modell mehrere Karten und einen anderen Serverraum.
Ein Fall aus dem Alltag
Ein Modell passt nicht auf die vorhandene Karte. In quantisierter Form belegt es deutlich weniger Speicher und läuft, mit geringem Qualitätsverlust. Für viele Betriebe ist das der Unterschied zwischen einer Karte, die man kaufen kann, und einer, die das Budget sprengt.
Wie wir es umsetzen
Wir wählen die Stufe nach Kartenspeicher und messen die Qualität am Testsatz mit Ihren echten Fragen, statt eine Stufe nach Gefühl zu setzen. Zu starke Verkleinerung erkennt man daran, dass Antworten ungenau werden.
Der häufigste Irrtum
Oft verwechselt mit einem kleineren Modell. Ein kleineres Modell hat weniger gelernt. Ein quantisiertes Modell hat dasselbe gelernt, rechnet aber gröber. Bei Fachsprache lohnt der Vergleich am eigenen Testsatz, denn dort zeigt sich der Unterschied zuerst.
Grenze
Wo die Grenze liegt
Je stärker verkleinert, desto mehr geht verloren, besonders bei Fachsprache und langen Ketten. Unter einer bestimmten Stufe lohnt ein kleineres Modell mehr als ein stark verkleinertes großes.
Wo das bei uns vorkommt
Themenseite
Hardware für lokale KI
Themenseite
Modellwahl mit Testsatz
Weiterlesen
Verwandte Begriffe
Architektur und Betrieb
Grafikkarte für KI
Das Bauteil, das bestimmt, wie viele Menschen die KI gleichzeitig nutzen können
Architektur und Betrieb
Inferenz
Das Ausführen eines Modells, und warum die Software dafür zählt
KI-Grundlagen
Mixture of Experts
Warum ein großes Modell trotzdem schnell sein kann
KI-Grundlagen
Sprachmodell
Das Programm, das Text versteht und schreibt, Grundlage jeder KI-Anwendung
Der nächste Schritt
Unser Ziel: keine Suchzeit mehr.
Sie fragen, die belegte Antwort steht mit Quelle da. Wie das geht, zeigen wir im Webinar: live mit Ronja, Eric und Max, mit echten Fragen aus Planungsbüros, gezeigt an einem Beispiel-Archiv. 60 Minuten, online, kostenlos. Nur für Planungs-, Ingenieur- und Architekturbüros.