Il nome deriva dal protagonista di Psycho, lo scopo è dimostrare che i dati con cui si addestra un algoritmo influenzano pesantemente il suo comportamento. Gli esperti del Mit di Boston hanno creato la prima intelligenza artificiale ufficialmente psicopatica. Si chiama Norman, appunto come il Norman Bates del celebre film di Alfred Hitchcock, ed è capace di osservare una foto e capirne il contenuto dopo aver costruito un database da immagini precedenti. I ricercatori lo hanno così allenato con delle immagini macabre di persone morenti e poi sottoposto al test delle macchie di Rorschach, a cui ha dato risposte inquietanti. E’ stato così dimostrato che precedenti intelligenze artificiali diventate razziste e sessiste erano state influenzate dalle informazioni ricevute dai loro programmatori.
Mentre a Norman facevano vedere le immagini di persone in fin di vita, i ricercatori del Mit hanno infatti addestrato con foto normali di animali e persone un’altra intelligenza artificiale. Entrambe sono state poi sottoposte al famoso test di Rorschach, in cui viene chiesto di interpretare delle macchie di inchiostro indistinte per valutare la personalità. Le differenze tra le due interpretazioni sono risultate evidenti. La macchia che l’intelligenza “normale” interpretava come “un gruppo di uccellini su un ramo” per Norman era “un uomo che subiva una scarica elettrica“. Un “vaso di fiori” diventava “un uomo a cui hanno sparato a morte“. Un “guanto da baseball” è stato interpretato come “un uomo ucciso da una mitragliatrice“.
“Norman nasce dal fatto che i dati che vengono usati per addestrare un algoritmo influenzano significativamente il comportamento – scrivono gli ideatori sul sito – Quindi quando le persone parlano di algoritmi ‘razzisti’ o ‘scorretti’ il problema non è nell’algoritmo in sé, ma nei dati usati”. Il problema è già emerso diverse volte in passato e il caso più celebre è quello di Tay, l’intelligenza artificiale sviluppata da Microsoft sotto forma di utente di Twitter. Pochi giorni dopo il lancio, Tay è diventata razzista a causa dei commenti che leggeva. Uno studio su Science di circa un anno fa ha poi dimostrato che gli algoritmi incorporano gli stessi pregiudizi di chi li programma. Per esempio, associano termini più negativi alle minoranze etniche o legati ai lavori domestici delle donne.