Si lega a
è un controllo; aggiunge un punto in cui la classificazione può sbagliare
Da qui ci si arriva
- Scelta del modello per passo
Un modello piccolo per i passi semplici, quello grande riservato ai passi che lo meritano
- Miscela di esperti
L'architettura che sostituisce l'MLP del blocco con una schiera di esperti e un router: i parametri totali crescono, il calcolo per token usa solo gli esperti scelti