Tema

I concettimachine-learningNel grafo

Discesa del gradiente

Correggere ogni peso spostandolo di un passo nella direzione che riduce l'errore, come scendere un pendio seguendo la pendenza del punto in cui ci si trova

Si lega a

è il motore della retropropagazione; il suo passo è il tasso di apprendimento

Da qui ci si arriva

  1. Retropropagazione

    L'algoritmo che ripartisce l'errore all'indietro, strato per strato, in proporzione alla responsabilità di ciascun peso; l'idea fu scoperta da più gruppi negli anni Settanta e Ottanta, e Rumelhart, Hinton e Williams (1986) la resero lo strumento di tutti

  2. Tasso di apprendimento

    La lunghezza del passo della discesa: troppo alto scavalca la valle oscillando, troppo basso non arriva

Dove se ne parla

  1. Le reti multistrato: oltre il muro del percettrone