Mixture of Experts (MoE)
Bei einem Mixture-of-Experts-Modell rechnet pro Anfrage nur ein Teil der Parameter, die sogenannten aktiven Parameter. Das Modell antwortet dadurch schneller und günstiger, braucht aber trotzdem Speicher für alle Parameter.
Auch bekannt als: MoE · aktive Parameter
So funktioniert das
Ein MoE-Modell besteht aus vielen Teilnetzen, den Experten. Für jedes Wort wählt eine Weiche einige wenige Experten aus, nur diese rechnen. Die Bezeichnung „397B-A17B“ bedeutet zum Beispiel: 397 Milliarden Parameter insgesamt, davon 17 Milliarden aktiv. Die Rechenzeit richtet sich nach den aktiven Parametern, der Speicherbedarf nach allen.
Beispiel aus der Praxis
Ein Modell mit 35 Milliarden Parametern, von denen 3 Milliarden aktiv sind, antwortet auf einem normalen Rechner fast so schnell wie ein kleines Modell mit 3 Milliarden Parametern. Es braucht aber so viel Arbeitsspeicher wie ein Modell mit 35 Milliarden.
Das solltest du wissen
- Für den eigenen Betrieb zählt zuerst der Speicher: Passt das ganze Modell nicht hinein, hilft auch die geringe Zahl aktiver Parameter nicht.
- Auf Rechnern mit viel gemeinsamem Speicher wie dem Mac Studio laufen große MoE-Modelle besonders gut, weil dort Speicher wichtiger ist als Rechenleistung.
- Welche offenen Modelle MoE nutzen, steht in unserer Übersicht der offenen KI-Modelle.