Parallelismo per livelli

Si lega a

è un modo di eseguire il motore di inferenza su più macchine; si contrappone al parallelismo tensoriale; la rete è il suo collo di bottiglia

Dove se ne parla

1. I motori che eseguono i pesi: da llama.cpp allo streaming dal disco