Chat Gpt, l’intelligenza sta regredendo? “Fa errori grossolani”. I ricercatori: “Crollo nelle capacità matematiche”
Porre la questione in termini di intelligenza/stupidità quando si parla di intelligenza artificiale, si sa – o dovrebbe sapersi – è sbagliato. Meglio parlare di attendibilità, precisione, performance. E allora mettiamola così: ultimamente Chat GPT è meno performante in termini di attendibilità. Il peggioramento del chatbot di OpenAI è stato notato nel passaggio a GPT 4, la versione più aggiornata che in teoria avrebbe dovuto portare un potenziamento e non una regressione. Ad accorgersi per primi che qualcosa non andasse sono stati programmatori ed esperti informatici, che scambiandosi opinioni sui social non hanno dubbi: “Più pigra”, “risponde più rapidamente ma fa errori grossolani”; senza andare troppo per il sottile, “è più stupida”.
Peter Yang, responsabile della piattaforma per la creazione di videogiochi Roblox, su Twitter scrive: “ChatGPT è cambiata di recente. Genera più velocemente, ma la qualità sembra peggiore. Forse OpenAI sta cercando di risparmiare sui costi. Qualcun altro ha notato questo?”
GPT4’s output has changed recently.
It generates faster, but the quality seems worse.
Perhaps OpenAI is trying to save costs.
Has anyone else noticed this?
— Peter Yang (@petergyang) May 21, 2023
A confermare il peggioramento è arrivato un documento pubblicato dai ricercatori dell’università di Stanford e di quella di Berkeley, con lo scopo di analizzare i cambiamenti di Chat Gpt nel tempo. Lo studio dal titolo Come cambia il comportamento di ChatGpt nel tempo? evidenzia un crollo drammatico per quanto riguarda in particolare le capacità matematiche: secondo i dati, a marzo ChatGpt riconosceva i numeri primi con una precisione del 97,6%, a giugno del 2,4%.
“Le prestazioni dei modelli di intelligenza artificiale GPT-3.5 e GPT-4 sono variate notevolmente” asseriscono i tre ricercatori – Lingjiao Chen, Matei Zaharia e James Zou – che hanno messo alla prova la capacità del software di OpenAi in varie attività (risoluzione di problemi matematici, risposta a domande sensibili, generazione di codice e ragionamento visivo) e poi hanno comparato i risultati ottenuti nella versione di marzo 2023 e in quella di giugno.
La società per il momento ha smentito aggiungendo poco altro: “Non abbiamo reso Gpt-4 più stupido, quando si usa in maniera più intensiva si iniziano a notare problemi che non si vedevano prima”, ha scritto su Twitter Peter Welinde, vice presidente prodotto di OpenAi. A farsi strada liberamente sono ora le ipotesi sul perché dell'”istupidimento”: taglio dei costi? O l’inserimento di filtri per il “politically correct” che ne rallentano l’elaborazione di contenuti? O forse ChatGpt è stato concepito come progetto pilota destinato fin dall’inizio a sondare il terreno e prepararlo ad altro, per poi restare su un binario morto? O, ancora, potrebbe trattarsi di un risparmio di energie computazionali per accelerare le risposte o del tentativo di far pagare agli utenti per funzionalità aggiuntive. Secondo Arvind Narayanan, professore di informatica all’Università di Princeton, i risultati dello studio non dimostrano in modo definitivo un calo delle prestazioni di Gpt-4. In ogni caso, tra utilizzatori ed esperti le idee sono tante, da OpenAi si attendono sviluppi.