Porre la questione in termini di intelligenza/stupidità quando si parla di intelligenza artificiale, si sa – o dovrebbe sapersi – è sbagliato. Meglio parlare di attendibilità, precisione, performance. E allora mettiamola così: ultimamente Chat GPT è meno performante in termini di attendibilità. Il peggioramento del chatbot di OpenAI è stato notato nel passaggio a GPT 4, la versione più aggiornata che in teoria avrebbe dovuto portare un potenziamento e non una regressione. Ad accorgersi per primi che qualcosa non andasse sono stati programmatori ed esperti informatici, che scambiandosi opinioni sui social non hanno dubbi: “Più pigra”, “risponde più rapidamente ma fa errori grossolani”; senza andare troppo per il sottile, “è più stupida”.

Peter Yang, responsabile della piattaforma per la creazione di videogiochi Roblox, su Twitter scrive: “ChatGPT è cambiata di recente. Genera più velocemente, ma la qualità sembra peggiore. Forse OpenAI sta cercando di risparmiare sui costi. Qualcun altro ha notato questo?”

A confermare il peggioramento è arrivato un documento pubblicato dai ricercatori dell’università di Stanford e di quella di Berkeley, con lo scopo di analizzare i cambiamenti di Chat Gpt nel tempo. Lo studio dal titolo Come cambia il comportamento di ChatGpt nel tempo? evidenzia un crollo drammatico per quanto riguarda in particolare le capacità matematiche: secondo i dati, a marzo ChatGpt riconosceva i numeri primi con una precisione del 97,6%, a giugno del 2,4%.

“Le prestazioni dei modelli di intelligenza artificiale GPT-3.5 e GPT-4 sono variate notevolmente” asseriscono i tre ricercatori – Lingjiao Chen, Matei Zaharia e James Zou – che hanno messo alla prova la capacità del software di OpenAi in varie attività (risoluzione di problemi matematici, risposta a domande sensibili, generazione di codice e ragionamento visivo) e poi hanno comparato i risultati ottenuti nella versione di marzo 2023 e in quella di giugno.

La società per il momento ha smentito aggiungendo poco altro: “Non abbiamo reso Gpt-4 più stupido, quando si usa in maniera più intensiva si iniziano a notare problemi che non si vedevano prima”, ha scritto su Twitter Peter Welinde, vice presidente prodotto di OpenAi. A farsi strada liberamente sono ora le ipotesi sul perché dell'”istupidimento”: taglio dei costi? O l’inserimento di filtri per il “politically correct” che ne rallentano l’elaborazione di contenuti? O forse ChatGpt è stato concepito come progetto pilota destinato fin dall’inizio a sondare il terreno e prepararlo ad altro, per poi restare su un binario morto? O, ancora, potrebbe trattarsi di un risparmio di energie computazionali per accelerare le risposte o del tentativo di far pagare agli utenti per funzionalità aggiuntive. Secondo Arvind Narayanan, professore di informatica all’Università di Princeton, i risultati dello studio non dimostrano in modo definitivo un calo delle prestazioni di Gpt-4. In ogni caso, tra utilizzatori ed esperti le idee sono tante, da OpenAi si attendono sviluppi.

Community - Condividi gli articoli ed ottieni crediti
Articolo Precedente

Il sito di Twitter ha sostituito il logo dell’uccellino blu con la X

next