The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World

by Pedro Domingos

A thought-provoking and wide-ranging exploration of machine learning and the race to build computer intelligences as flexible as our own
In the world's top research labs and universities, the race is on to invent the ultimate learning algorithm: one capable of discovering any knowledge from data, and doing anything we want, before we even ask. In The Master Algorithm , Pedro Domingos lifts the veil to give us a peek inside the learning machines that power Google, Amazon, and your smartphone. He assembles a blueprint for the future universal learner--the Master Algorithm--and discusses what it will mean for business, science, and society. If data-ism is today's philosophy, this book is its bible.

Genres: Nonfiction, Science, Artificial Intelligence, Technology, Computer Science, Business, Programming

352 pages, Hardcover

First published September 8, 2015

About the author

I'm a professor emeritus of computer science and engineering at the University of Washington and the author of 2040 and The Master Algorithm. I'm a winner of the SIGKDD Innovation Award and the IJCAI John McCarthy Award, two of the highest honors in data science and AI. I'm a Fellow of the AAAS and AAAI, and I've received an NSF CAREER Award, a Sloan Fellowship, a Fulbright Scholarship, an IBM Faculty Award, several best paper awards, and other distinctions. I received an undergraduate degree (1988) and M.S. in Electrical Engineering and Computer Science (1992) from IST, in Lisbon, and an M.S. (1994) and Ph.D. (1997) in Information and Computer Science from the University of California at Irvine. I'm the author or co-author of over 200 technical publications in machine learning, data science, and other areas. I'm a member of the editorial board of the Machine Learning journal, co-founder of the International Machine Learning Society, and past associate editor of JAIR. I was program co-chair of KDD-2003 and SRL-2009, and I've served on the program committees of AAAI, ICML, IJCAI, KDD, NIPS, SIGMOD, UAI, WWW, and others. I've written for the Wall Street Journal, Spectator, Scientific American, Wired, and others. I helped start the fields of statistical relational AI, data stream mining, adversarial learning, machine learning for information integration, and influence maximization in social networks.

Reviews

[Ettore1207]

L'intelligenza artificiale è un bel paradosso: ne usufruiamo quotidianamente (spesso senza esserne consapevoli), eppure per certi versi ci fa paura. D'altra parte l’autonomia decisionale di una macchina effettivamente genera interrogativi importanti. L'algoritmo definitivo è, per dirlo in due parole, un processo attraverso cui le macchine potranno imparare fondamentalmente come gli studenti imparano dall’insegnante. E si tratterà di studenti molto intelligenti, dato che non bisognerà nemmeno spiegare ma basterà fornir loro degli esempi. Impareranno osservandoci, come i bambini imparano osservando gli adulti. E poi ci saranno macchine che impareranno da altre macchine, aggiungendo conoscenza a conoscenza.
Domingos ha dedicato tutta la sua vita a questo settore della scienza, la sua competenza è evidente.
Però forse pecca di tecnicismo, dato che su un argomento di questa portata mi sarei aspettato, oltre all'aspetto puramente scientifico, qualcosa di più in tema etico e sociale. Mi sono posto molte domande che sono rimaste senza risposta. Ad esempio: quando l'"algoritmo" sarà disponibile, chi lo controllerà? Quali individui ne saranno i detentori (e quali le vittime)? In che modo l’acquisizione e la gestione di questa conoscenza, e l’inevitabile invasione della vita pubblica e privata che ne deriverà, modificherà l’idea che abbiamo della nostra società, dei nostri figli e di noi stessi? Come evitare che il divario fra paesi ricchi e paesi meno ricchi venga ulteriormente incrementato, visto che l'algoritmo sarà appannaggio di pochi?
Domande su cui l'autore glissa in larga misura.

[Maurizio Codogno]

Cos'è l'intelligenza artificiale? può essere tutto o niente. Già il nome stesso è in un certo senso sbagliato, perché richiama un'idea degli anni 1950 che ormai è completamente superato. Il guaio è che ci sono cinque approcci fondamentali diversi secondo l'autore Pedro Domingos, e finché non si troverà un modo per riunificarli - l'Algoritmo Definitivo del titolo - non si potrà sperare in un vero avanzamento. Questo libro è molto americaneggiante: uno come me che tende a essere sin troppo laconico mi sono spesso un po' scocciato dalle ripetizioni, e fosse per me avrei eliminato del tutto il capitolo 2 con le speranze riposte nell'Algoritmo Definitivo e il capitolo 9 con gli scenari previsti. Ma la parte centrale, con la spiegazione dettagliata delle cinque famiglie di algoritmi attualmente studiati, è una preziosissima risorsa non solo per chi vuole conoscere lo stato dell'arte nell'AI ma anche per imparare a conoscere i vantaggi e gli svantaggi, anche per l'attenta traduzione di Andrea Migliori.

[Artù]

L’algoritmo definitivo è una chimera, una possibile conquista del futuro.
Così come la nostra mente è capace tramite apprendimento di svolgere tutti i compiti umanamente utili, così l’algoritmo definitivo sarà un algoritmo capace di apprendere ed affrontare efficacemente tutti i problemi utili all’uomo.
Nel arrivare a questo scopo l’autore individua 5 scuole di pensiero differenti ed esamina per ogni scuola i pro ed i contro.
Anche se l’idea di fondo è affascinante, comprendere sino in fondo i concetti esposti non è semplice. Più che un libro adatto a neofiti è un libro che contiene una riflessione generale, quasi una retrospettiva, per gli addetti ai lavori.
Infine si propone un possibile Algoritmo Definitivo che dovrebbe contenere le peculiarità di ogni scuola, perché ad oggi non esiste un algoritmo secco capace di simulare al 100% la nostra mente, ma esistono diversi algoritmo di origine diversa che si dimostrano efficaci in alcune categorie di problemi e scarsi in altri.

[Luca Mirenda]

Sto tizio è troppo gasato e parla troppo.
Ci sta

[Antonio Gallo]

Sette anni fa, in termini digitali sono ben di più, scrissi il post che segue sul mio blog https://unideadivita.blogspot.com/201.... Il mio telefonino era il Samsung III, superato ed obsoleto. In sette anni l'accelerazione digitale continua ad un ritmo vertiginoso. Questo libro mi ha detto ben poco di nuovo. Il "bello", penso, che debba ancora venire ...

Non abbiate timore. Se lo sono io, lo siete anche voi. Siamo tutti tanti algoritmi. Non sapete cos'è un algoritmo? Grave. Se state leggendo questo post al vostro PC, dovreste saperlo. Andate al link che ho evidenziato e potrete acculturarvi. Qui vi basta sapere che è la "successione non ambigua di istruzioni che permettono di risolvere in modo generale un problema." Se le cose stanno così capirete quanti sono i problemi che ci riguardano in quanto esseri umani. Qui si tratta quindi trovare il modo con il quale possiamo fare in fretta, ed in maniera quanto più possibile precisa, per risolvere i nostri guai, che poi non sono altro che problemi. Ed ecco perché gli algoritmi sono diventati importanti ed essenziali. Tanto da parlare di una vera e propria tirannia degli algoritmi. Questo libro ne parla diffusamente.

Fin dal lontano 1952 lo scrittore americano Kurt Vonnegut, in un suo romanzo distopico, si ribellò contro l'allora principiante automazione. Non gli piacque la faccenda che un pianoforte potesse suonare automaticamente senza alcun intervento umano. Se potesse leggere questo libro ne sarebbe stravolto. Christopher Steiner descrive la crescente invadenza degli algoritmi nella vita di tutti i giorni senza che noi ce ne rendiamo conto. Tutta la nostra conoscenza viene codificata in semplici regole che i computer possono leggere e trasformare in "decisioni" ultra veloci. Pensate che Steiner descrive, come esempio quanto mai esemplare, quello che con gli algoritmi riesce a fare una casa editrice musicale che si chiama Music-Xray. Gli algoritmi sono in grado di valutare le nuove canzoni basandosi sulle loro caratteristiche che attirano chi le ascolta, isolando i modelli di melodia, il ritmo, il tempo, la battuta, la qualità del suono confrontandole con canzoni di successo precedenti. Se la valutazione è bassa, il gruppo di ascolto valutativo dell'azienda esclude il prodotto dal mercato.

Altro che pianoforte automatico! Qui si si va nel profondo. Del resto, ve ne sarete forse accorti anche chi tra voi frequenta i siti sociali, in particolare Facebook. Ogni qualvolta clicchiamo qualcosa che ci piace con il tasto "like" il sistema, tramite un algoritmo, è in grado di definire in un certo qual modo la nostra identità, se non proprio da un punto di vista reale, almeno da quello sociale, psicologico, culturale. Ci possono così fare proposte di vario genere (commerciali o amicali) elaborate su appositi algoritmi e gestire le nostre esigenze. La stessa cosa accade con la posta elettronica. Dai suoi contenuti il sistema è in grado di elaborare algoritmi che si adattano ai contenuti. Se, ad esempio, intrattengo una corrispondenza con case editrici, il gestore della posta che potrà essere Google o chiunque altro, potrà inserire messaggi pubblicitari editoriali nella schermata in cui appare la mia corrispondenza.

Leggendo questo libro c'è allora da avere paura sulla direzione che sta prendendo la tecnologia nelle mani dell'uomo. I computers sono in grado sempre più di codificare le nostre conoscenze in modo da produrre decisioni più rapide e mirate. Ma tutto questo solleva problemi che riguardano la nostra vita "dentro" la nostra sfera privata. Siamo sicuri che tutti sono disposti ad accettarla in questo modo? Non è che la nostra "intelligenza" sta per essere sostituita da un'altra "intelligenza"? Un argomento questo che ci porta davvero lontano, ma che viene da lontano. In effetti il primo esempio di algoritmo è abbastanza antico, addirittura circa 2500 anni prima di Cristo.

I Sumeri avevano, infatti, escogitato un modo per dividere equamente il raccolto di grano tra un certo numero variabile di persone. Ma non andarono oltre. Oggi sappiamo che con gli algoritmi vanno avanti i sistemi usati nelle transazioni nelle borse di tutto il mondo. In questi ultimi trenta anni gli scenari dell'economia e della finanza mondiale sono gestiti da sistemi che si basano sugli algoritmi. Essi sono in grado di fare previsioni, anticipare eventi, suggerire soluzioni. La loro intelligenza artificiale potrà mai entrare in conflitto con quella nostra naturale? Gli algoritmi potranno forse proporci la canzone ideale? E come una innocua canzone, anche altro? Ovvio, ciò è possibile in base agli algoritmi che sono in grado di fare previsioni anticipando il futuro. Anzi, il futuro, lo creano. E se questo potrà succedere, fino a che punto c'è da fidarsi?

Se penso che il mio telefonino Samsung Galaxy III, sempre per mezzo di algoritmi, è in grado non solo di riconoscere la mia voce ed il mio volto, ma anche di adattarsi all'uso che io faccio di lui, modulando i miei errori, indicandomi correzioni ed aggiustamenti, mi chiedo se stiamo andando verso il "Mondo nuovo" di Aldous Huxley, romanzo fantascientico scritto nel 1932, anticipatore del mondo di oggi con tutti i suoi problemi, oppure verso "1984" di George Orwell, il mondo del "grande fratello". Entrambi esempi di letteratura distopica, anticipatrice di una società indesiderabile sotto tutti i punti di vista.

[Marco]

Uno sguardo sul machine learning con gli occhi di un profondo conoscitore. Può risultare complesso per chi è digiuno della materia. Di contro chi ha un bagaglio minimo riesce a dare uno sguardo d'insieme al paesaggio dell'Artificial Intelligence che si sta aprendo davanti a noi. L'abilità di Dominos è riuscire a districare il groviglio e l'ampiezza dei tanti algoritmi di machine learning usati oggi posizionandoli e contestualizzandoli in cinque grandi famiglie antropologiche: simbolisti, connessionisti, evoluzionisti, bayesiani e analogisti. Un lavoro necessario in questo periodo storico in cui l'Artificial Intelligence sta diventando argomento di dominio pubblico ma è ancora scarsamente conosciuta e divulgata. Pecca nel capitolo finale, dove mostra minor acume rispetto al resto del testo: si lascia infatti andare a conclusioni personali dettate più da una cultura fantascientifica che realistica. Se da un lato la critica espressa all'idea di privacy anche se discutibile è argomentata, dall'altro mancano considerazioni filosofiche sul concetto di identità individuale e sono estremamente semplicistiche le idee espresse sull'uso della tecnologia (non solo dell'AI) in ambito militare. Ciò detto resta uno sforzo di divulgazione importante che va sicuramente consigliato...

[Lester Intrigante]

Uno sguardo sul machine learning con gli occhi di un profondo conoscitore. Può risultare complesso per chi è digiuno della materia. Di contro chi ha un bagaglio minimo riesce a dare uno sguardo d'insieme al paesaggio dell'Artificial Intelligence che si sta aprendo davanti a noi. L'abilità di Dominos è riuscire a districare il groviglio e l'ampiezza dei tanti algoritmi di machine learning usati oggi posizionandoli e contestualizzandoli in cinque grandi famiglie antropologiche: simbolisti, connessionisti, evoluzionisti, bayesiani e analogisti. Un lavoro necessario in questo periodo storico in cui l'Artificial Intelligence sta diventando argomento di dominio pubblico ma è ancora scarsamente conosciuta e divulgata. Pecca nel capitolo finale, dove mostra minor acume rispetto al resto del testo: si lascia infatti andare a conclusioni personali dettate più da una cultura fantascientifica che realistica. Se da un lato la critica espressa all'idea di privacy anche se discutibile è argomentata, dall'altro mancano considerazioni filosofiche sul concetto di identità individuale e sono estremamente semplicistiche le idee espresse sull'uso della tecnologia (non solo dell'AI) in ambito militare. Ciò detto resta uno sforzo di divulgazione importante che va sicuramente consigliato...

[Alb85]

Libro che prova a descrivere tutti gli algoritmi più importanti di Machine Learning restando però troppo sul generico.

Troppo filosofico e poco concreto su applicazioni reali.

La sezione “Letture consigliate” è molto ricca di informazioni.

Ecco una elenco di casi reali che purtroppo sono stati solo brevemente descritti:
- Il sistema Kinect di Microsoft si serve degli alberi di decisione per analizzare le immagini registrate dalla videocamera e dai sensori di profondità e capire dove si trovano le varie parti del vostro corpo e controllare la console Xbox sfruttando i vostri movimenti.
- PageRank, l’algoritmo da cui è nato Google, è una catena di Markov. Larry Page intuì che con ogni probabilità, le pagine referenziate da molti link sono più importanti da quelle poco referenziate, e che i link provenienti da pagine importanti, a loro volta, dovrebbero contare più degli altri.
- Google utilizza un’enorme rete bayesiana nel suo sistema AdSense per selezionare automaticamente gli annunci pubblicitari da inserire nelle pagine web.
- Xbox Live di Microsoft utilizza una rete bayesiana per stilare le classifiche dei giocatori e farli incontrare se hanno abilità simili.
- Una rete di Markov è un insieme di proprietà e di pesi corrispondenti che, presi collettivamente, definiscono una distribuzione di probabilità. Per selezionare le canzoni da proporvi, l’app Pandora si serve di un insieme di proprietà particolarmente grande che chiama Music Genome Project.
- Gli HMM o modello di Markov nascosto, (da Hidden Markov Model: il nome, in realtà, è fuorviante, perché sono gli stati a essere nascosti, e non il modello) sono alla base dei sistemi di riconoscimento vocale come Siri. Nel riconoscimento vocale gli stati nascosti sono parole scritte, le osservazioni sono i suoni indirizzati a Siri e l’obiettivo è inferire le parole dai suoni.
- Ogni volta che telefonate con il vostro cellulare utilizzate un HMM, perché le vostre parole vengono emesse come sequenze di bit, e i bit possono corrompersi durante la trasmissione. A partire dai bit ricevuti (osservazioni), l’HMM capisce quali sarebbero dovuti arrivare (stati nascosti), a patto che le storpiature non diventino troppo numerose.
- Gli HMM sono anche uno degli strumenti preferiti dei bioinformatici. Una proteina è una sequenza di aminoacidi, e il DNA è una sequenza di basi. Se vogliamo prevedere, ad esempio, quale sarà la forma tridimensionale che assumerà una proteina, possiamo trattare gli aminoacidi come le osservazioni e la piega in ogni punto della sequenza come lo stato nascosto. Analogamente, possiamo servirci di un HMM per identificare i siti del DNA in cui comincia la trascrizione genica, oltre a tante altre proprietà.
- Se gli stati e le osservazioni sono variabili continue anziché discrete, l’HMM diventa ciò che comunemente si chiama filtro di Kalman. Gli economisti si servono dei filtri di Kalman per rimuovere il rumore dalle serie storiche di quantità come il PIL, l’inflazione e la disoccupazione. I valori «veri» del PIL sono gli stati nascosti; a ogni istante, il valore «vero» dovrebbe essere simile al valore osservato ma anche al valore vero precedente, poiché in economia le discontinuità brusche sono rare. Il filtro di Kalman opera un compromesso tra i due valori, generando una curva più graduale senza discostarsi troppo dalle osservazioni.
- Quando un missile si dirige verso il bersaglio, è un filtro di Kalman che lo mantiene sulla rotta giusta. Senza filtri di Kalman, l’uomo non sarebbe mai arrivato sulla Luna.
- Tra i primi successi delle macchine a vettori di supporto (o SVM, da Support Vector Machine), particolarmente degno di nota fu quello ottenuto nel campo della classificazione dei testi.

Osservazioni:
- Le reti bayesiane smentiscono il luogo comune che il machine learning non sia in grado di prevedere eventi rarissimi, i «cigni neri» di Nassim Taleb.
- L’algoritmo Naïve Bayes, le catene di Markov e gli HMM sono tutti casi particolari di reti bayesiane.


Citazioni:
- Charles Babbage, il pioniere vittoriano dei computer: Dio non creò le specie ma l’algoritmo per crearle.
- George Box, «tutti i modelli sono sbagliati, ma alcuni sono utili».


Nozioni spiegate nel libro:
- Un problema appartiene a P se lo sappiamo risolvere efficientemente, e appartiene a NP se sappiamo verificarne efficientemente la soluzione. Gli esseri umani sono bravi a risolvere problemi NP in maniera approssimativa;
- L’overfitting accade quando abbiamo troppe ipotesi e una quantità di dati insufficiente a distinguerle.
- Il termine singolarità proviene dalla matematica, dove indica un punto in cui una funzione diventa infinita. In fisica, la singolarità per antonomasia è il buco nero: un punto a densità infinita in cui una quantità di materia finita viene compressa in uno spazio infinitesimo. L’unico problema delle singolarità è che in realtà non esistono.
- L’appellativo «Monte Carlo» dipende dal fatto che il metodo ha a che fare con il caso, come una visita al casinò eponimo;
- Si parla di «catena di Markov» perché il metodo consiste in una serie di passaggi, ognuno dei quali dipende solo dal precedente.


Ogni learner possiede tre elementi (rappresentazione, valutazione, ottimizzazione), ma le loro caratteristiche variano da una tribù all’altra.
La rappresentazione è il linguaggio formale con cui il learner esprime i suoi modelli.
La componente della valutazione è una funzione di calcolo del punteggio che ci informa sulla bontà del modello.
L’ottimizzazione è l’algoritmo che cerca di identificare il modello con il punteggio più alto.


La probabilità che un’AI dotata dell’Algoritmo Definitivo si impadronisca del mondo è pari a zero. Non corriamo il rischio che la cosa ci sfugga di mano, nemmeno nel caso di un algoritmo genetico. Se dal processo di apprendimento nascesse un sistema che non fa ciò che vogliamo noi, la sua fitness sarebbe bassissima e la sua fine rapida.

[Eva Filoramo]

Domingos tratta l'argomento del machine learning in modo estensivo e con grande entusiasmo. Ho trovato il suo libro senza dubbio interessante, anche se non sempre di facile lettura. Come accade talvolta, l'autore non sempre accompagna il lettore lungo i gradi di difficoltà crescenti e, soprattutto nella seconda metà del libro, mi sono spesso trovata un po' persa tra i tantissimi concetti che, introdotti una volta, vengono poi dati per scontati. Forse questo libro, più che letto, andrebbe studiato prendendo appunti (in questo senso, un glossario non sarebbe male), ma tirando le somme anche una lettura più o meno superficiale, come la mia, lascia indovinare campi sconfinati per possibili approfondimenti e fa sicuramente venire voglia di saperne di più.

[Ilaria]

Opera divulgativa in cui vengono illustrate le cinque maggiori scuole di pensiero alla base del machine learning (simbolisti, connezionisti, evoluzionisti, bayesiani ovvero statistici, e analogisti), i rispettivi punti deboli, i modi in cui possono combinarsi per trovare un futuro Master Algorithm che consenta alle macchine non solo di eseguire comandi precompilati, ma di apprendere, sulla base dei procedimenti cognitivi umani. Poiché il funzionamento del cervello è ancora piuttosto discusso, non c’è unanimità sul metodo da utilizzare, ma ci si muove di certo nella direzione di un comando semplice ed onnicomprensivo. Molto chiaro, molto utile.

[Paolo]

Domingos L'algoritmo definitivo 6.5 - buoni gli esempi dei vari metodi di machine learning, ma un po’ troppo confusionario ed ottimista verso ai e ml. Da prendere con le molle