Tema

I concettimachine-learningNel grafo

Quantizzazione

La compressione dei pesi da sedici bit a otto o quattro: il modello occupa meno memoria e arriva più in fretta, a scapito di un po' di precisione

Si lega a

agisce sui pesi di miscela di esperti e modello denso; è l'alleato dello streaming dei pesi

Dove se ne parla

  1. I motori che eseguono i pesi: da llama.cpp allo streaming dal disco