Il Tirreno

Tecnologia

Da Pisa arriva l’antidoto per l’Ia che si nutre dei propri contenuti

di Libero Red Dolce

	L'area del Cnr
◗
L'area del Cnr

Lo studio di Cnr, Unipi e Normale: un metodo per salvare la qualità dei testi

3 MINUTI DI LETTURA





PISA. L’ intelligenza artificiale sta mangiando sé stessa. Ed è un problema che porta a contenuti di qualità in progressivo peggioramento, ripetitivi e simili gli uni agli altri. Si verifica quando un sistema viene addestrato sempre più sui contenuti generati da altri sistemi di intelligenza artificiale, fino ad alimentarsi dei propri prodotti. Viene definito autofagia, un termine preso in prestito dalla biologia e che nasce dall’incontro di due parole greche: autós, "stesso", e phageîn, "mangiare". E rende bene l’idea: mangiare sé stesso.

Uno studio condotto da ricercatori del Cnr-Isti di Pisa, dell’Università di Pisa e della Scuola Normale Superiore, insieme a colleghi della Victoria University of Wellington, in Nuova Zelanda, propone una soluzione. La ricerca, pubblicata sulla rivista «ACM Transactions on Intelligent Systems and Technology», individua nella «sorpresa» una difesa contro il model collapse, il collasso del modello.

E, in un certo senso, può essere d’aiuto con uno dei problemi più noti posti dall’intelligenza artificiale: distinguere ciò che è sintetico da ciò che non lo è.

Torniamo allo studio e alla questione dell’autofagia. «Analizzando quattro modelli di IA generativa – come Llama, sviluppato da Meta – abbiamo osservato che il collasso può manifestarsi in modi diversi. Da un lato, il contenuto generato diventa sempre meno vario e presenta sempre le stesse parole; dall’altro, le frasi generate sono meno coerenti e significative e le risposte meno sensate», spiega Daniele Gambetta, ricercatore post-doc all’Università di Pisa.

Per arrivare al risultato, a fronte di una quantità crescente di contenuti di difficile attribuzione, la strategia del gruppo di ricerca si è concentrata sull’effetto sorpresa. «La soluzione comune è distinguere i testi umani da quelli prodotti dall’IA, selezionando solo quelli umani per l’addestramento. Tuttavia, è sempre più difficile fare questa distinzione man mano che i modelli diventano più sofisticati», osserva Luca Pappalardo, ricercatore del Cnr-Isti e co-direttore dello studio.

Il gruppo ha scelto invece di misurare la perplexity, cioè il grado di sorpresa che un documento suscita nel modello. «Un documento è sorprendente per il modello se il modello stesso l’avrebbe scritto in modo diverso».

Vengono così privilegiati i testi meno prevedibili, che si discostano dalle formulazioni che il sistema tenderebbe a produrre. «I testi meno sorprendenti contribuiscono di più al collasso se usati nell’addestramento del modello. Nei nostri esperimenti abbiamo dimostrato che selezionando per l’addestramento solo i documenti sorprendenti si mitiga il problema del collasso», aggiunge Pappalardo. La diversità diventa così una risorsa.

Il principio richiama i meccanismi dell’apprendimento umano. «Nell’autofagia il modello smette di apprendere nuove informazioni. Reintrodurre la sorpresa nell’addestramento richiama il modo in cui i bambini imparano dagli eventi inattesi», sottolinea Dino Pedreschi, professore all’Università di Pisa. La ricerca si inserisce negli studi sulla coevoluzione tra esseri umani e intelligenza artificiale.

Il possibile vantaggio di questo approccio è non dover risolvere il problema iniziale. «Questo approccio non richiede di sapere se un documento è stato scritto da un umano o da una macchina e, in un’epoca in cui distinguere i due tipi di contenuto è sempre più difficile, questa proprietà è fondamentale per la strategia», spiega Gizem Gezici, ricercatrice alla Scuola Normale Superiore. «Il nostro lavoro fornisce una possibile soluzione a un problema che diventerà sempre più impellente con la diffusione di questi modelli nella produzione testuale in vari contesti, conclude Gezici.

Sapremo distinguere con certezza chi ha fatto cosa? Non ancora. Soprattutto per i testi, non esistono sistemi infallibili. L’AI Act europeo impone marcature digitali, watermark e metadati per riconoscere i contenuti artificiali, soluzioni più efficaci sulle immagini che sui testi, ma in ogni caso aggirabili. Il metodo indicato dei ricercatori non identifica l’autore né certifica “l’autenticità”: prova piuttosto a evitare che l’intelligenza artificiale si impoverisca nutrendosi di contenuti sempre più simili a quelli che produce.

Non lasciare decidere l'algoritmo:

scegli Il Tirreno per le tue notizie su Google

Cronaca in Toscana

Il caso

Trovata morta in casa dalla figlia, mistero a Cantagrillo: abitazione sotto sequestro

di Tiziana Gori
Il progetto Scuola 2030