Was ist Mixture of Experts?
Bei einem Mixture-of-Experts-Modell rechnet nicht das ganze Modell an jeder Antwort, sondern nur ein Teil davon. Ein Modell mit hundert Milliarden Parametern nutzt pro Token vielleicht zehn. Dadurch hat es die Qualität eines großen und das Tempo eines kleinen Modells. Das macht lokale KI auf einer Grafikkarte praktikabel.
Auch genannt: MoE, Expertenmodell, aktive Parameter
Stand:Von PhoenixOne AI aus Leipzig, dem Spezialisten für Firmen-KI im deutschen Mittelstand. Kostenloses Analysegespräch, 30 Minuten
Was das für Ihr Unternehmen heißt
Genau diese Bauweise ist der Grund, warum ein einzelner Server im Büro heute ein Modell tragen kann, das vor zwei Jahren ein Rechenzentrum gebraucht hätte. Sie zahlen Speicher für das ganze Modell, aber Rechenzeit nur für den aktiven Teil.
Ein Fall aus dem Alltag
Zwei Modelle haben dieselbe Gesamtgröße, aber eines antwortet spürbar schneller. Der Grund kann in dieser Bauweise liegen: Es werden nicht alle Teile des Modells für jede Anfrage genutzt, sondern nur ein Teil. Für Ihren Server heißt das mehr Durchsatz bei gleicher Karte.
Wie wir es umsetzen
Wir wählen für lokale Systeme Modelle dieser Bauweise in der Größenklasse, die in den Speicher der Grafikkarte passt, und betreiben sie mit einem Server, der mehrere Anfragen bündelt.
Der häufigste Irrtum
Oft verwechselt mit mehreren spezialisierten Modellen. Es handelt sich um ein einziges Modell, dessen innere Teile sich die Arbeit teilen. Für den Betrieb müssen Sie trotzdem das ganze Modell im Speicher halten.
Grenze
Wo die Grenze liegt
Der Speicherbedarf richtet sich nach dem ganzen Modell, nicht nach dem aktiven Teil. Eine kleine Karte reicht deshalb trotzdem nicht.
Wo das bei uns vorkommt
Themenseite
Qwen lokal
Themenseite
Welche Servergröße
Weiterlesen
Verwandte Begriffe
KI-Grundlagen
Sprachmodell
Das Programm, das Text versteht und schreibt, Grundlage jeder KI-Anwendung
Architektur und Betrieb
Quantisierung
Modelle verkleinern, damit sie auf die Karte passen, ohne viel zu verlieren
Architektur und Betrieb
Inferenz
Das Ausführen eines Modells, und warum die Software dafür zählt
Architektur und Betrieb
Grafikkarte für KI
Das Bauteil, das bestimmt, wie viele Menschen die KI gleichzeitig nutzen können
Der nächste Schritt
Unser Ziel: keine Suchzeit mehr.
Sie fragen, die belegte Antwort steht mit Quelle da. Im kostenlosen Analysegespräch, 30 Minuten, sehen wir uns Ihr Unternehmen an und sagen Ihnen, wo die Firmen-KI zuerst hilft. Wir denken langfristig. Der erste Schritt soll sich für Sie schnell rechnen, deshalb steht Ihr erster Baustein ab 2 Wochen. Danach wachsen wir mit Ihnen weiter: Wir suchen langfristige Partnerschaften, keine Einmalprojekte.
- Festpreis je Schritt
- Stopp-Punkt mit Zwischenabnahme
- Eigener Code, der Ihnen gehört