I modelli linguistici di grandi dimensioni (LLM), dei sistemi di intelligenza artificiale, possono uguagliare, e in alcuni casi superare, le prestazioni umane in determinati compiti volti a valutare gli stati mentali degli altri. Lo dimostra uno studio, pubblicato sulla rivista Nature Human Behavior, condotto dagli scienziati del Centro medico universitario Hamburg-Eppendorf, di Amburgo.
Le persone si preoccupano di ciò che pensano gli altri e si impegnano molto pensando a cosa sta succedendo nelle altre menti. La vita quotidiana è piena di interazioni sociali che hanno senso solo se considerate alla luce della nostra capacità di rappresentare altre menti. Questa capacità di tracciare gli stati mentali di altre persone è nota come Teoria della mente. La teoria della mente è centrale per le interazioni sociali umane – dalla comunicazione all’empatia al processo decisionale sociale – ed è stato a lungo di interesse per lo sviluppo, sociale e clinico psicologico. Lungi dall’essere un costrutto unitario, la teoria della mente si riferisce a un insieme interconnesso di nozioni che vengono combinate per spiegare, prevedere e giustificare il comportamento degli altri.
Il team, guidato da James Strachan, ha valutato la capacità dell’intelligenza artificiale di adeguarsi alla Teoria della Mente, un pilastro delle interazioni sociali umane, essenziale per la comunicazione e le esperienze empatiche. In psicologia, la Teoria della Mente riguarda la capacità di attribuire stati mentali, come credenze, intenzioni, desideri, emozioni, conoscenze, a se stessi e al prossimo, nonché l’abilità di capire che esistono stati mentali diversi dai propri. Ricerche precedenti hanno dimostrato che gli LLM sono in grado di risolvere compiti cognitivi complessi, ma non è chiaro fino a che punto questi sistemi possano raggiungere prestazioni simili a quelle umane.
Nell’ambito del lavoro, gli studiosi hanno selezionato compiti che mettono alla prova diversi aspetti della Teoria della Mente, tra cui l’identificazione di false credenze o la comprensione del discorso indiretto. I ricercatori hanno poi confrontato le abilità di due modelli di intelligenza artificiale (GPT e LLaMA2) con i risultati ottenuti da 1.907 esseri umani. Stando a quanto emerge dall’indagine, i sistemi GPT potevano uguagliare e addirittura superare le prestazioni umane, mentre LLaMA2 restava poco sotto la soglia umana in questi compiti, ma era notevolmente superiore nelle attività che richiedevano di riconoscere gaffe e passi falsi.
I ricercatori hanno selezionato una serie di test mentali consolidati che abbracciano diverse abilità: il compito di alludere, il compito di falsa credenza, il riconoscimento dei passi falsi e le storie strane. “Abbiamo incluso – hanno spiegato – anche un test di comprensione dell’ironia utilizzando stimoli adattati da uno studio precedente”. Ciascun test è stato somministrato separatamente a GPT-4, GPT-3.5 e LLaMA2-70B-Chat (di seguito LLaMA2-70B) su 15 chat. Le risposte sono state valutate in base ai protocolli di punteggio per ciascun test sugli esseri umani (metodi) e confrontati con quelli raccolti da un campione di 250 partecipanti umani.
“Attraverso i test sulla teoria della mente – spiegano gli autori – abbiamo scoperto che i modelli GPT-4 hanno prestazioni pari o addirittura superiori a quelle umane nella capacità di identificare richieste indirette, false credenze e indicazioni sbagliate, ma fatica ad individuare i passi falsi. Il passo falso, tuttavia, è stato l’unico test dove LLaMA2 ha sovraperformato gli umani. Questi risultati non solo dimostrano che gli LLM mostrano risultati positivi e un comportamento coerente, ma sottolineano anche l’importanza di test sistematici per garantire un confronto non superficiale tra intelligenze umane e artificiali”.
Inoltre, precisano gli autori, “questi risultati non dimostrano che i modelli di intelligenza artificiale possiedano una Teoria della Mente. Tuttavia, i dati ottenuti da questo lavoro suggeriscono che i prossimi studi potrebbero valutare come le prestazioni dell’intelligenza artificiale possano influenzare la cognizione degli individui nelle interazioni uomo-macchina.
Articolo Precedente
La variante KP.3 del Covid “viaggia” veloce ed è una sorvegliata speciale. Decisione a sorpresa della Fda sul vaccino
