Ciò che ha causato il Rinascimento AI

Molto rumore per il backpropagation dell’apprendimento profondo

Fonte: pixabay

L’intelligenza artificiale (AI) non è un concetto nuovo, con origini che risalgono agli anni ’50. Eppure, l’intelligenza artificiale è emersa solo di recente nell’interesse degli investimenti da parte dell’industria, del governo e del capitale di rischio dopo decenni di relativa dormienza. Che cosa ha contribuito allo scongelamento dell’inverno e del boom attuale di AI?

L’IA sta esplodendo in gran parte a causa dei progressi nelle capacità di riconoscimento dei pattern derivanti dall’apprendimento profondo, un sottoinsieme dell’apprendimento automatico in cui una rete neurale artificiale consiste di oltre due livelli di elaborazione. L’apprendimento automatico è un sottoinsieme di intelligenza artificiale che implica algoritmi in grado di apprendere dai dati, rispetto a un programmatore che deve codificare esplicitamente le istruzioni. Questo apprendimento può essere fatto con una formazione dei dati supervisionata o incustodita. Nell’apprendimento supervisionato, i dati utilizzati per la formazione sono etichettati, mentre nell’apprendimento non supervisionato non ci sono etichette dati.

• Piccole avventure per i non avventurosi
• Dilemmi etici nella consulenza
• Perseguire la politica che causa più morti per droga
• The Waste of Art and the Art of Waste
• Un test genetico di talento innato? Improbabile

Le reti neurali per l’apprendimento automatico della IA sono state, per la maggior parte, in fase di stallo negli anni ’70 e ’80, in seguito alla pubblicazione delle ricerche del MIT Marvin Minsky e Seymour Papert intitolate Perceptrons: un’introduzione alla geometria computazionale nel 1969. Nel loro articolo, il duo scientifico punta i “severi limiti” delle percetron, reti neurali sviluppate negli anni ’50 dallo psicologo americano Frank Rosenblatt, per gli scopi previsti per il riconoscimento del pattern AI.

Minsky e Papert mettevano in dubbio l’abilità dei percettori di allenarsi, o apprendere, in reti neurali che avevano più di due strati di neuroni – il livello di input e di output. Arrivarono alle loro conclusioni sulla base di prove matematiche. Gli scienziati hanno scritto che forse “alcuni potenti teoremi di convergenza saranno scoperti, o qualche motivo profondo per la mancata produzione di un interessante ‘teorema di apprendimento’ per la macchina multistrato”.

Un anno dopo, nel 1970, il matematico finlandese Seppo Linnainmaa scrisse nella sua tesi di laurea sulla stima degli errori di arrotondamento e la modalità inversa della differenziazione automatica (AD). A sua insaputa, questa idea a cui aveva pensato mentre si trovava in un parco di Copenaghen in un pomeriggio soleggiato avrebbe in seguito fornito il seme per un profondo apprendimento a germogliare anni dopo per sbocciare in un rinascimento dell’IA decenni dopo. Linnainmaa ha conseguito il primo dottorato in informatica presso l’Università di Helsinki nel 1974.

• La psicologia dietro i nostri piani di pasto: perché mangiamo chi mangiamo
• La soluzione di assistenza sanitaria Nixon
• La ragione segreta che procrastiniamo
• La crisi di fiducia nella ricerca medica

Sempre nel 1974, lo scienziato Paul J. Werbos pubblicò il suo PhD dell’Università di Harvard. tesi sull’addestramento di reti neurali artificiali attraverso la backpropagation degli errori. Werbos concepì nuovi progetti di controllo intelligenti che avevano paralleli con il cervello umano. Werbos ha ricevuto il Pioneer Award del Council of Neural Networks 1995 per la sua scoperta di backpropagation e altri contributi alle reti neurali di AI.

Nel 1986 Geoffrey Hinton, David E. Rumelhart e Ronald J. Williams hanno reso popolare il concetto di utilizzare backpropagation attraverso reti di unità simili a neuroni con il loro articolo pubblicato su Nature , “Rappresentazioni dell’apprendimento per errori di propagazione retrospettiva.” La procedura prevede la regolazione del pesi delle connessioni nella rete (nodi o neuroni), in modo da minimizzare una misura della differenza tra il vettore di uscita effettivo della rete e il vettore di uscita desiderato. Risultante dalle regolazioni del peso sono unità nascoste interne che non fanno parte dell’input né dell’output. Essenzialmente, Hinton e il suo team hanno dimostrato che reti profonde neurali composte da più di due strati potevano essere addestrate mediante backpropagation. Qui c’era la potente tecnica di apprendimento per più di due strati neurali che Minsky e Papert avevano ipotizzato come una possibilità nel 1969. Eppure questo da solo non era sufficiente per resuscitare l’intelligenza artificiale.

Un altro fattore importante che contribuisce al boom di intelligenza artificiale è dovuto all’aumento dei videogiochi. Negli anni ’70 i videogiochi arcade utilizzavano chip grafici specializzati a causa dei costi. Negli anni ’80 e all’inizio del 2000, l’unità di elaborazione grafica (GPU) si è evoluta dall’uso principalmente di giochi verso scopi di calcolo generale. Le GPU sono in grado di elaborare grandi quantità di dati in parallelo, un netto vantaggio rispetto alla CPU standard (unità centrale di elaborazione). La potenza di elaborazione parallela della GPU per l’informatica generale è ideale per l’elaborazione di grandi quantità di big data per scopi di apprendimento automatico.

Nel 2012 Geoffrey Hinton, Alex Krizhevsky e Ilya Sutskever hanno annunciato il loro successo nell’addestrare una rete neurale convoluzionale con 60 milioni di parametri, 650.000 neuroni e cinque strati convoluzionali, per classificare 1,2 milioni di immagini ad alta risoluzione in 1.000 classi diverse. Il team ha utilizzato un’implementazione GPU per accelerare il tempo di formazione complessivo. Hinton e il suo team hanno fatto la storia dimostrando che una grande e profonda rete neurale convoluzionale potrebbe ottenere “risultati da record su un set di dati altamente impegnativo utilizzando un apprendimento puramente supervisionato” con backpropagation.

L’intelligenza artificiale è stata resuscitata dalla dormienza grazie alla tecnologia di backpropagation e alla tecnologia GPU. L’apprendimento profondo è nelle prime fasi della commercializzazione applicata. Nel prossimo decennio, l’IA continuerà a prendere slancio rapidamente mentre si avvicina al varco tecnologico verso la proliferazione globale di massa. L’intelligenza artificiale (AI) è di tendenza in sanità, trasporto, scoperta di farmaci, biotecnologia, genomica, elettronica di consumo, applicazioni software aziendali, medicina di precisione, esports, veicoli autonomi, applicazioni social media, produzione, ricerca scientifica, intrattenimento, geopolitica e molti più aree. In un futuro non così lontano, l’intelligenza artificiale diventerà onnipresente come Internet.

Copyright © 2019 Cami Rosso Tutti i diritti riservati.

Riferimenti

Griewank, Andreas. “Chi ha inventato la modalità inversa di differenziazione?” Documenta Mathematica . Volume extra ISMP 389-400. 2012.

IEEE. “Premi per il Consiglio neurale editoriale ospite.” Transazioni IEEE su reti neurali. Vol 7, No 1. Gennaio 1996.

Rumelhart, David E., Hinton, Geoffrey E., Williams, Ronald J. “Imparare le rappresentazioni con errori di propagazione retrograda.” Natura . Vol. 323. 9 ottobre 1986.

Krizhevsky, Alex, Sutskever, Ilya, Hinton, Geoffrey E. “Classificazione di ImageNet con reti neurali convolutive profonde”. Progressi nei sistemi di elaborazione delle informazioni neurali 25 . 2012