Si lega a
mostra regolarità distribuzionali; è un caso di embedding del token nei modelli con tokenizzazione a parole; è distinto dalla rappresentazione contestuale
Da qui ci si arriva
- Embedding del token
Il vettore iniziale associato a un token prima che gli strati lo mettano in relazione col contesto
- Maledizione della dimensionalità
La crescita combinatoria delle sequenze possibili, tanto rapida che nessun corpus può coprirle tutte