Si lega a
opera sulle uscite della rete neurale multistrato; è la versione graduata del vincitore unico del percettrone
Da qui ci si arriva
- Pesi di attenzione
I coefficienti, prodotti dalla softmax sui punteggi fra domanda e chiavi, con cui una posizione pesa le altre; sommano a 1
- Testa d'uscita
L'ultimo strato che riporta il vettore alla taglia del vocabolario, da cui la softmax produce le probabilità del prossimo token
- Campionamento
La scelta del prossimo token secondo le probabilità - con la temperatura che le schiaccia o le appiattisce - invece di prendere il candidato più probabile