Si lega a
identifica il token; seleziona una riga della prima matrice di pesi
Da qui ci si arriva
- Codifica one-hot
Un vettore lungo quanto il vocabolario, composto di zeri tranne un unico 1; rende ogni voce equidistante dalle altre
- Matrice degli embedding
Un parametro appreso con una riga per ogni token e una colonna per ogni dimensione del vettore
- Vocabolario
L'elenco finito dei token disponibili, con un identificativo assegnato a ciascuna voce