Si lega a
soffre sulle dipendenze lontane, dove i gradienti svaniscono; è stata sostituita dal meccanismo di attenzione in molti compiti sul linguaggio
Da qui ci si arriva
- Meccanismo di attenzione
Il calcolo che produce, per una posizione, una somma pesata dei valori delle altre posizioni, con pesi decisi dalla compatibilità fra domanda e chiavi