Si lega a
richiede un nuovo vocabolario; ricostruisce la matrice degli embedding; riduce il costo in token di una lingua o di un dominio
Tema
La sostituzione del tokenizzatore in un modello già addestrato: si ricostruiscono le righe della matrice degli embedding e la testa di uscita, spesso la stessa matrice, e si riprende l'addestramento perché le righe nuove partono quasi casuali
richiede un nuovo vocabolario; ricostruisce la matrice degli embedding; riduce il costo in token di una lingua o di un dominio