Tema

Machine learningdi

Le origini del machine learning: programmare una macchina, o farla apprendere

Ci sono due modi per far fare qualcosa a un calcolatore. Il primo è scrivergli le regole: se succede questo, fai quello - ed è il modo in cui è stato costruito quasi tutto il software che usiamo. Il secondo è mostrargli esempi e lasciare che le regole se le ricavi da solo. Questo secondo modo si chiama apprendimento automatico - il machine learning, ML - ed è la fondazione su cui poggiano le reti neurali, i modelli di linguaggio e gli agenti di cui questo sito racconta. La sua storia comincia prima di quanto si pensi, e i suoi documenti fondativi dicono cose più precise - e più belle - della vulgata che circola. Questa serie parte da lì e arriva, un gradino alla volta, fino a dentro le architetture dei modelli di oggi.

La linea del tempo delle origini del machine learning Una linea orizzontale con sette date numerate: 1943 il neurone di carta, 1950 la macchina-bambina di Turing, 1955 il battesimo dell'intelligenza artificiale, 1959 la dama di Samuel, 1969 il muro (in tratteggio), 1986 la retropropagazione, e il 2024 evidenziato: il Nobel a Hopfield e Hinton. La legenda numerata e' nella didascalia. 1943 1 1950 2 1955 3 1959 4 1969 5 1986 6 2024 7 DALL'IDEA AL NOBEL: OTTANT'ANNI, UNA SCOMMESSA VINTA
1 il neurone logico di McCulloch e Pitts non impara. 2 Turing propone di istruire una macchina-bambina con premi e punizioni. 3 la proposta di Dartmouth conia «artificial intelligence». 4 il programma di Samuel impara la dama meglio del suo autore. 5 Minsky e Papert segnano il limite del percettrone: chi finanzia si ritira. 6 la retropropagazione rende addestrabili le reti profonde. 7 il Nobel per la Fisica 2024 premia Hopfield e Hinton.

1943: un neurone di carta

McCulloch e Pitts mostrano che reti di neuroni idealizzati possono calcolare la logica: ma quelle reti non imparano.

Il primo mattone non riguarda l’apprendimento ma la possibilità stessa di calcolare come fa un cervello. Nel 1943 il neurofisiologo Warren McCulloch e il logico Walter Pitts pubblicano un modello matematico di neurone - riceve segnali, li somma, e se superano una soglia si attiva - e dimostrano che reti di questi neuroni idealizzati possono eseguire operazioni logiche. È un risultato teorico enorme e un punto di partenza onesto: quelle reti sono cablate a mano, non imparano niente. La domanda su come i pesi possano regolarsi da soli resta aperta, ed è la domanda giusta.

1950: la domanda di Turing, e la macchina-bambina

Tutti citano il test. La parte che fonda l’apprendimento automatico è un’altra: simulare il bambino, non l’adulto, e istruirlo.

Nel 1950 Alan Turing apre il suo articolo più famoso, Computing Machinery and Intelligence, con una frase che abbiamo riscontrata sulla copia integrale: «Propongo di considerare la domanda: le macchine possono pensare?». Da lì nasce il gioco dell’imitazione - il test di Turing - la parte che tutti citano.

La parte che fonda il nostro tema arriva però alla sezione 7, quella che quasi nessuno legge, intitolata proprio Learning Machines. Turing scrive: «Invece di provare a produrre un programma che simuli la mente adulta, perché non provare a produrne uno che simuli quella del bambino? Se poi questo venisse sottoposto a un corso appropriato di istruzione, si otterrebbe il cervello adulto». E aggiunge come istruirla, la macchina-bambina: con punizioni e ricompense - «un segnale di ricompensa aumentava la probabilità di ripetizione degli eventi che l’avevano preceduta». Nel 1950, senza chiamarlo così, Turing ha descritto il programma di ricerca dell’apprendimento automatico e perfino l’apprendimento per rinforzo: a tre quarti di secolo di distanza, è esattamente il meccanismo con cui vengono addestrati i modelli di ragionamento - e questa serie chiuderà proprio lì.

Potete essere voi l’insegnante: il widget qui sotto è la scena di Turing presa alla lettera. Una macchina-bambina sceglie fra due azioni; voi giudicate ogni scelta con una ricompensa o una punizione, e le probabilità si regolano da sole. Siate coerenti, e la macchina impara la vostra regola - esattamente come Turing aveva scritto.

La macchina-bambina di Turing: premi e punizioni, in diretta. Giudicate le sue scelte e guardate le probabilità cambiare.

sinistra50%
destra50%
giri: 0

1955: il battesimo dell’intelligenza artificiale

Quattro ricercatori chiedono fondi per un’estate di lavoro, e nella proposta coniano un nome e una scommessa.

Il 31 agosto 1955 John McCarthy, Marvin Minsky, Nathaniel Rochester e Claude Shannon firmano la proposta di un seminario estivo a Dartmouth. Nel titolo compare per la prima volta il nome del campo - artificial intelligence - e nel primo paragrafo la scommessa che lo definisce, controllata sul testo originale: «Lo studio procederà sulla base della congettura che ogni aspetto dell’apprendimento, o qualunque altra caratteristica dell’intelligenza, possa in linea di principio essere descritto così precisamente che una macchina possa simularlo». Si noti che cosa viene per primo, nella frase: non il ragionamento, non il linguaggio - l’apprendimento. Il seminario si tiene nell’estate del 1956, e il campo ha un nome e un programma.

1959: la dama di Samuel, e la citazione che non c’è

Il primo programma che impara a battere il suo autore - e le parole vere di Samuel, più interessanti di quelle che gli si attribuiscono.

Arthur Samuel, ingegnere IBM, dedica il suo tempo libero a un programma che gioca a dama. Nel luglio 1959 pubblica Some Studies in Machine Learning Using the Game of Checkers - è qui che il termine «machine learning» fa la sua comparsa - e l’abstract, letto nella copia integrale, contiene la frase decisiva: «un calcolatore può essere programmato in modo che impari a giocare a dama meglio di quanto sappia giocare la persona che ha scritto il programma», e impara in otto-dieci ore di gioco.

A Samuel viene attribuita ovunque una definizione celebre: il machine learning come «campo di studi che dà ai calcolatori la capacità di imparare senza essere esplicitamente programmati». Nell’articolo del 1959 quella frase non c’è: è una parafrasi posteriore. Le parole vere sono più concrete: gli studi riguardano «la programmazione di un calcolatore perché si comporti in un modo che, se fatto da esseri umani o da animali, descriveremmo come apprendimento»; e programmare i calcolatori perché imparino dall’esperienza «dovrebbe alla fine eliminare gran parte di questo sforzo di programmazione minuziosa». Ecco la distinzione fondativa detta dal suo autore: non la magia di una macchina senza programma, ma lo spostamento della fatica - dallo scrivere le regole allo scegliere gli esempi. E anche Samuel, come Turing, descrive fra i suoi approcci una «routine di ricompensa e punizione».

1969: il muro del percettrone

Minsky e Papert dimostrano i limiti del percettrone, i fondi si ritirano, e per un decennio le reti neurali diventano una strada morta.

Nel frattempo Frank Rosenblatt aveva costruito la prima macchina che impara davvero a regolare i propri pesi: il percettrone (1957-58), a cui è dedicato per intero il prossimo pezzo. Qui basta il finale: nel 1969 Marvin Minsky e Seymour Papert dimostrano matematicamente che cosa un percettrone a uno strato non potrà mai imparare - il caso di scuola è la funzione XOR, l’o esclusivo: vale 1 solo quando gli ingressi sono diversi - e la comunità ne ricava la conclusione più drastica: chi finanziava sposta i fondi altrove, e le reti neurali diventano un vicolo cieco per un decennio abbondante. La vicenda insegna una cosa che nel campo si ripete: le dimostrazioni di impossibilità valgono per l’oggetto che analizzano, non per le sue evoluzioni.

1982-1986: la rinascita, e il Nobel del 2024

Hopfield riporta i fisici alle reti, la retropropagazione rende addestrabili le reti profonde - e nel 2024 arriva il Nobel.

La rinascita ha due motori. Nel 1982 John Hopfield mostra una rete che funziona come memoria associativa: immagazzina schemi e li ricostruisce da versioni parziali o rovinate - e il suo linguaggio da fisico riporta al campo un’intera comunità scientifica. Nel 1986 David Rumelhart, Geoffrey Hinton e Ronald Williams pubblicano l’articolo che rende pratica e popolare la retropropagazione, l’algoritmo che permette di addestrare reti a più strati - l’idea in sé era più antica, e lo diremo per bene nel pezzo sulle reti multistrato: il 1986 è l’anno in cui divenne lo strumento di tutti.

La storia ha messo il sigillo su questa rinascita nel modo più solenne: il Nobel per la Fisica 2024 è andato proprio a Hopfield e Hinton, con la motivazione ufficiale «per le scoperte e invenzioni fondamentali che rendono possibile l’apprendimento automatico con reti neurali artificiali». Il campo nato in un seminario estivo del 1956 è oggi materia da Nobel.

I tre modi di apprendere

Il vocabolario che serve per tutta la serie: supervisionato, non supervisionato, per rinforzo.

Da questa storia esce anche il vocabolario che useremo in tutta la serie.

Dove prosegue la serie

Dal neurone di carta alla prima macchina che impara: il percettrone, coi suoi trionfi e il suo muro.

Il prossimo pezzo apre la prima macchina che impara: il percettrone di Rosenblatt - come regola i propri pesi, che cosa sapeva fare davvero, e il muro esatto contro cui si fermò. Da lì la serie sale: le reti a più strati, il testo trasformato in numeri, l’attenzione, il Transformer aperto col cacciavite, le evoluzioni fino ai modelli che ragionano. Per l’uso che di questi modelli fanno gli agenti, la serie dedicata è già in linea; a chi resta indietro quando queste tecnologie si diffondono è dedicato il pezzo sulle opportunità socio-economiche.

I concetti che questo articolo introduce

Quattro voci: la distinzione fondativa e i tre modi di apprendere. Sono il lessico dell’intera serie.

Concetto Ambito Che cos’è Si lega a
Apprendimento automatico machine-learning Far ricavare le regole alla macchina dagli esempi, invece di scrivergliele: nelle parole di Samuel (1959), programmare un calcolatore perché si comporti in un modo che chiameremmo apprendimento, eliminando gran parte della programmazione minuziosa è la fabbrica da cui esce il modello di linguaggio; si declina in apprendimento supervisionato, apprendimento non supervisionato e apprendimento per rinforzo
Apprendimento supervisionato machine-learning Imparare da esempi etichettati: coppie di ingresso e risposta giusta, da cui il modello generalizza; il modo più diffuso nelle applicazioni aziendali è un modo dell’apprendimento automatico
Apprendimento non supervisionato machine-learning Trovare struttura in dati senza etichette: gruppi, somiglianze, anomalie è un modo dell’apprendimento automatico
Apprendimento per rinforzo machine-learning Imparare da azioni e ricompense invece che da esempi: la macchina-bambina istruita per punizioni e premi (Turing 1950), la routine di Samuel (1959), e il metodo dietro i modelli di ragionamento di oggi è un modo dell’apprendimento automatico; la serie lo riprenderà per i modelli di ragionamento

Fonti