Si lega a
affligge la retropropagazione; cresce con la profondità della rete; è il motivo per cui la ReLU ha vinto sulla sigmoide
Da qui ci si arriva
- Retropropagazione
L'algoritmo che ripartisce l'errore all'indietro, strato per strato, in proporzione alla responsabilità di ciascun peso; l'idea fu scoperta da più gruppi negli anni Settanta e Ottanta, e Rumelhart, Hinton e Williams (1986) la resero lo strumento di tutti
- ReLU
La funzione di attivazione oggi standard negli strati nascosti (Rectified Linear Unit, unità lineare rettificata): zero sotto lo zero, la somma così com'è sopra; pendenza 1 ovunque sia accesa, costo di calcolo minimo
- Profondità della rete
Il numero di strati. Più strati permettono gerarchie di tratti - semplici nei primi, composti nei successivi - che uno strato solo, per quanto largo, paga carissimo