Si lega a
è un modo di eseguire il motore di inferenza su più macchine; richiede l'all-reduce fra le macchine
Da qui ci si arriva
- Parallelismo per livelli
La spartizione del modello fra più computer per gruppi di strati: le attivazioni attraversano la rete da uno stadio all'altro a ogni token; somma la capacità delle macchine