Was ist Quantisierung?
Auch genannt: Quantisierte Modelle, Q4, FP8
◆Kurz gesagt
Quantisierung speichert die Werte eines Modells mit weniger Nachkommastellen. Dadurch schrumpft der Speicherbedarf deutlich, während die Antwortqualität nur leicht sinkt. So passt ein Modell mit hundert Milliarden Parametern auf eine einzelne Grafikkarte, statt mehrere zu brauchen.
Stand: September 2026
Was das für Ihr Büro heißt
Quantisierung ist der Grund, warum lokale KI für einen Mittelständler bezahlbar ist. Ohne sie bräuchte dasselbe Modell mehrere Karten und einen anderen Serverraum.
Ein Fall aus dem Alltag
Ein Modell passt nicht auf die vorhandene Karte. In quantisierter Form belegt es deutlich weniger Speicher und läuft, mit geringem Qualitätsverlust. Für viele Betriebe ist das der Unterschied zwischen einer Karte, die man kaufen kann, und einer, die das Budget sprengt.
Wie wir es umsetzen
Wir wählen die Stufe nach Kartenspeicher und messen die Qualität am Testsatz mit Ihren echten Fragen, statt eine Stufe nach Gefühl zu setzen. Zu starke Verkleinerung erkennt man daran, dass Antworten ungenau werden.
Der häufigste Irrtum
Oft verwechselt mit einem kleineren Modell. Ein kleineres Modell hat weniger gelernt. Ein quantisiertes Modell hat dasselbe gelernt, rechnet aber gröber. Bei Fachsprache lohnt der Vergleich am eigenen Testsatz, denn dort zeigt sich der Unterschied zuerst.
Wo die Grenze liegt
Je stärker verkleinert, desto mehr geht verloren, besonders bei Fachsprache und langen Ketten. Unter einer bestimmten Stufe lohnt ein kleineres Modell mehr als ein stark verkleinertes großes.
◆Wo das bei uns vorkommt
Verwandte Begriffe
Grafikkarte für KI
Das Bauteil, das bestimmt, wie viele Menschen die KI gleichzeitig nutzen können
Inferenz
Das Ausführen eines Modells, und warum die Software dafür zählt
Mixture of Experts
Warum ein großes Modell trotzdem schnell sein kann
Sprachmodell
Das Programm, das Text versteht und schreibt, Grundlage jeder KI-Anwendung
Sie wollen wissen, ob Quantisierung in Ihrem Büro etwas bringt?
Dreißig Minuten, per Video oder Telefon. Wir fragen nach Zahlen, nicht nach Ihrem Interesse an KI.
Termin vereinbaren◆Der nächste Schritt
Was kostet Sie das Suchen
im Monat?
Die wenigsten Büros haben das je ausgerechnet. Im Termin machen wir es zusammen: Stunden pro Woche, was eine Stunde bei Ihnen kostet, was im letzten Jahr deswegen schiefgegangen ist. Über uns reden wir erst danach.
- Dreißig Minuten, per Video oder Telefon
- Wir fragen nach Zahlen, nicht nach Ihrem Interesse an KI
- Danach wissen Sie, ob sich das für Sie lohnt. Auch wenn die Antwort nein ist
Keine Folien, keine Verkaufsshow. Wenn es nicht passt, sagen wir das im Termin.