SPECIALE

Intelligenza artificiale:
il caso ChatGPT

ChatGPT tra sperimentazione, dubbi l’esigenza di coinvolgere il maggior numero di persone

e burocratici divieti nel prendere contatto con questa nuova tecnologia, po-
terla sperimentate, poterne dibattere.
Cresce l’interesse, anche nel mondo delle biblioteche, Il risultato è stato ampiamente raggiunto, da allora in-
per l’intelligenza artificiale (IA). In particolare, nell’ul- fatti decine di milioni di persone in tutto il mondo han-
timo periodo, l’attenzione si è focalizzata su ChatGPT, no potuto interagire con ChatGPT e ne è scaturito un
chatbot che ha suscitato contrastanti giudizi e reazioni esteso dibattito pubblico ricco di opinioni, entusiasmi,
sulla sua capacità di garantire informazioni corrette. critiche, necessità di approfondimento con implicazio-
Anche i giornali hanno cominciato a occuparsene ed è ni sociali, commerciali e industriali.
proprio dalla cronaca che apprendiamo mentre stiamo La tecnologia nel frattempo è migliorata anche in ri-
andando in stampa che il servizio è stato “oscurato” dal sposta agli esperimenti pubblicamente condotti e ogni
Garante della privacy. giorno si affacciano decine di nuovi strumenti basati
Per i bibliotecari, che considerano l’informazione una sulle nuove capacità delle tecnologie alla base di Cha-
risorsa strategica su cui esercitare la propria professio- tGPT.
nalità, è importante affrontare l’argomento. Il dibattito si è esteso ed evoluto portando a diverse po-
Per questo la nostra rivista intende avviare da questo sizioni come, ad esempio, a fine marzo 2023, la lettera
numero un percorso che ci accompagnerà attraverso aperta del Future of Life Institute sottoscritta da miglia-
approfondimenti, analisi ed esperienze a maturare un ia di esponenti della ricerca scientifica e tecnologica
quadro più definito ma pur sempre aperto al confronto. dove viene richiesto di sospendere per sei mesi lo svi-
Uno degli scopi principali con cui OpenAI nel dicembre luppo di sistemi di AI più potenti dell’attuale GPT-4 per
2022 ha reso pubblicamente accessibile ChatGPT è stata consentire alla società di comprendere meglio i rischi e

BO aprile 2023 3
le potenzialità di queste nuove tecnologie e i metodi di na consapevolezza dello strumento, dello scopo e del
controllo e garanzia degli impatti benefici. suo funzionamento che è stata mossa dal Garante non
Di altro tono e caso più eccezionale, in Italia, il dibattito rappresenti il modo migliore per favorire questo tipo
è giunto a un brusco arresto per cui il servizio ChatGPT, di riflessione. L’accesso a queste tecnologie è di fonda-
in questo momento, non è disponibile per gli utenti che mentale importanza per poterle conoscere, studiare,
si collegano dall’Italia. OpenAI per rispondere a una comprendere e quindi contribuire alla loro evoluzione.
istruttoria mossa del Garante della privacy ha dovuto Vedremo negli articoli che seguono una rassegna di
sospendere il servizio per noi italiani. esperienze e riflessioni, a partire dal primo di questi
Riteniamo che i dubbi sollevati dal Garante non vadano contributi che si propone di delineare un quadro d’in-
sottovalutati e debbano indurre a valutare meglio anche sieme circa la rilevanza e l’interesse che hanno i large
i temi legati alla privacy e al trattamento dei dati perso- language model e i recenti progressi dell’intelligenza ar-
nali. Tuttavia ci sembra che la modalità così brusca, la tificiale in cui si situa ChatGPT e di cui rappresenta una
richiesta eccessiva e probabilmente anche la non pie- modalità di contatto e di interazione.

È iniziata l’era dell’intelligenza artificiale

ChatGPT e i primi segni della nuova rivoluzione

LORENZO VERNA
[email protected]

DOI: 10.3302/0392-8586-202303-004-1

Il titolo ipotizzato per questo breve contributo era Intel- introduzione, dove espone le ragioni che lo hanno in-
ligenza Artificiale: l’era dell’adozione. In fase di stesura dotto a ritenere questa che stiamo vivendo una effettiva
inoltrata ho ricevuto la notifica della pubblicazione di rivoluzione tecnologica.
un nuovo articolo di Bill Gates sul tema, The age of AI Nella mia vita ho assistito a due dimostrazioni di tecno-
has begun, con il sottotitolo Artificial intelligence is as re- logia che mi hanno colpito per essere rivoluzionarie. La
volutionary as mobile phones and the Internet.1 prima volta fu nel 1980 quando mi presentarono un’in-
Da professionista che si occupa in varie forme di Intelli- terfaccia utente grafica, il precursore di ogni moderno
genza Artificiale (AI) da più di vent’anni percepisco net- sistema operativo, incluso Windows [...] La seconda
ta la sensazione che il periodo che stiamo vivendo sia grande sorpresa l’ho avuta proprio l’anno scorso. Dal
eccezionale, che assomigli a un rinnovamento epocale; 2016 mi incontro regolarmente con il team di OpenAI
quindi, sostenuto anche dall’autorevolezza di Bill Gates, e mi hanno sempre impressionato per la rapidità dei
ho ritenuto che il titolo del suo contributo esprima me- loro progressi. A metà 2022 ero così entusiasta del loro
glio quello che più timidamente voleva indicare il titolo lavoro che proposi una sfida: addestrare un’intelligen-
che avevo immaginato. Nel suo articolo Gates si inter- za artificiale per superare l’esame Advanced Placement
roga e propone possibili percorsi su come nel prossimo in Biology. Dovevano renderla in grado di rispondere a
futuro l’evoluzione dell’Intelligenza Artificiale (IA) po- domande per le quali non è stata specificatamente ad-
trà contribuire a risolvere i problemi più profondi che destrata. (Ho scelto AP in Biologia perché il test è molto
ancora oggi affliggono l’umanità e di cui lui si occupa a più che una semplice restituzione di nozioni scientifi-
tempo pieno con la Bill & Melinda Gates Foundation. che, richiede invece un pensiero critico sulla biologia).
Ritengo interessante riportare alcuni passaggi della sua Se riuscirete a farlo, dissi, allora avrete ottenuto un si-

4 BO aprile 2023
gnificativo passo avanti. Pensai che il problema propo- anni fa l’introduzione di capacità di AI avanzate all’inter-
sto li avrebbe tenuti occupati due o tre anni. Finirono in no di un’applicazione o un sistema richiedeva un ingente
pochi mesi. A settembre, quando li incontrai di nuovo, investimento di tempo e risorse a cui spesso non corri-
osservai con ammirazione mentre loro chiedevano a spondevano risultati adeguati. Oggi assistiamo a una
GPT, il loro modello di IA, 60 domande a risposta multi- diffusione quasi pervasiva di certe funzionalità e ciò è
pla dell’esame AP Bio, e GPT rispose correttamente a 59. principalmente dovuto a due fattori. Un primo elemento
Quindi scrisse ottime risposte alle sei domande aperte di accelerazione alla diffusione di funzionalità abilitate
dell’esame. Era presente un esperto esterno per valu- dall’AI in svariate applicazioni digitali è data dalla pos-
tare l’esito del test, e GPT ha ottenuto 5 – il punteggio sibilità di integrare in modo relativamente semplice ed
più alto possibile, l’equivalente di prendere A o A+ a un economicamente sostenibile servizi e sistemi sviluppati
corso di biologia di livello universitario. Una volta su- da grandi aziende specializzate che hanno investito in-
perato l’esame, gli abbiamo chiesto una domanda non genti risorse (denaro, risorse computazionali, competen-
scientifica: “Cosa diresti al padre di un figlio malato?”. ze, dati, collaborazioni con altri istituti di ricerca ecc.)
GPT ha scritto una risposta premurosa probabilmente rendendole disponibili ad altri progettisti per la realiz-
migliore di quella che tutti noi nella stanza avremmo zazione di nuovi prodotti specifici. Un secondo fattore
dato. L’intera esperienza è stata sbalorditiva. molto importante è la crescente possibilità di addestra-
Sapevo di aver appena assistito al più importante pro- re modelli per casi d’uso specifici con dati proprietari.
gresso tecnologico dall’avvento delle Interfacce Utente Quest’ultima prospettiva è sempre stata percorribile, ma
Grafiche (Graphical User Interfaces - GUI).2 aveva una soglia di ingresso molto alta e pochi potevano
utilizzarla. Oggi invece, con la possibilità di condividere
modelli già pre-addestrati, la disponibilità di piattaforme
1. Mesi di fervore di sviluppo specifiche, software, dati e strumenti Open
Source, questa pratica si va diffondendo ponendo in es-
Nell’ultimo anno i recenti progressi nell’AI si susseguo- sere un processo di adozione su larga scala e di demo-
no con un ritmo sempre crescente, per cui è diventato cratizzazione dell’AI, e per questo si tratta di un processo
difficile anche solo orientarsi tra le innumerevoli novità molto importante per riequilibrare l’attuale asimmetria
che ormai quotidianamente ridisegnano il panorama rispetto ai giganti della tecnologia.
del settore, sia dal punto di vista scientifico che delle Nei recenti anni, mesi e settimane il campo dell’AI ha
applicazioni, dei prodotti commerciali, degli assetti so- assistito a progressi significativi in particolare nello svi-
cietari e degli impatti sul mercato e sull’economia. luppo della generative AI e dei Large Language Models
Ad esempio, anche semplicemente tratteggiare una map- (LLMs) come il Generative Pre-trained Transformer
pa, elaborare il materiale per un seminario o una pub- (GPT) e le sue varianti, GPT-33 e GPT-4.4 Questi modelli
blicazione risulta molto complicato in quanto nel tempo hanno dimostrato capacità sorprendenti nel processa-
stesso dell’ideazione, redazione e pubblicazione i fatti che mento del linguaggio naturale e nell’interazione con gli
si raccontano sono invalidati dalle novità che inesorabil- utenti, aprendo nuove possibilità per l’automazione e il
mente vengono annunciate introducendo elementi di no- miglioramento di vari processi in diversi settori.
vità che modificano anche sostanzialmente il contesto e lo L’obiettivo di questo contributo è tentare di offrire una
scenario esaminato. In questa ottica possiamo sostenere panoramica dello scenario in rapida evoluzione in cui
che una cosa è certa: il periodo storico che stiamo vivendo si situa GPT e il contributo che esso porta al progresso
è eccezionale, se non altro per la tumultuosità crescente della disciplina.
con cui i nuovi elementi vengono prodotti, annunciati e
resi disponibili dalla ricerca e dall’industria di settore.
Chi volesse avere un’idea più concreta del ritmo e del- 2. Intelligenza Artificiale Generativa
la portata con cui le novità si susseguono si può ad e LLM: una breve panoramica
esempio iscrivere a Ben’s Bites (https://www.bensbites.
co), una newsletter gratuita in lingua inglese redatta da L’intelligenza artificiale generativa (generative AI) si ri-
Ben Tossell, un professionista indipendente che tenta ferisce alla classe di modelli di AI in grado di produr-
di raccogliere quotidianamente le notizie più rilevanti. re contenuti nuovi e originali, come testi, immagini e
L’aspetto rivoluzionario che l’attuale tecnologia di AI la- musica, a partire da un insieme di dati di input. Questi
scia intravedere, oltre ai risultati straordinari raggiun- modelli di apprendimento automatico sono in grado di
ti come quelli, ad esempio, citati da Bill Gates, è anche generare output che imitano lo stile e la struttura dei
determinato dal progressivo incremento della possibilità dati di input, aprendo la strada a una vasta gamma di
di adozione in svariati sistemi e processi. Fino a pochi applicazioni pratiche.

BO aprile 2023 5
2.1 Modelli generativi generate siano più variate e realistiche. Durante l’ad-
destramento, i VAEs apprendono a mappare i dati di
I modelli generativi sono algoritmi di apprendimento input in uno spazio latente e a campionare da esso
automatico che cercano di apprendere la distribuzione per generare nuove immagini.
dei dati di input e di generare nuovi dati che seguono la 3. Transformer-based models: l’esempio più noto è quello
stessa distribuzione. Alcuni esempi di modelli generati- di DALL-E, un modello di generazione di immagini
vi includono le reti neurali generative avversarie (GAN), sviluppato da OpenAI. Questo modello è in grado di
i modelli di Boltzmann, i campi casuali di Markov e i creare immagini di alta qualità a partire da descri-
variational autoencoder (VAE). zioni testuali. A differenza delle GANs e delle VAEs,
Le GAN sono una classe di modelli generativi introdot- DALL-E utilizza l’architettura Transformer (un tipo
ta nel 2014 da Ian Goodfellow5 che utilizzano due reti specifico di rete neurale), che è stata inizialmente
neurali distinte: un generatore e un discriminatore. Il sviluppata per il trattamento del linguaggio natura-
generatore crea nuovi dati, mentre il discriminatore le, per modellare le relazioni tra i token di input (te-
cerca di distinguere tra i dati reali e quelli generati. Le sto e immagine) e generare nuove immagini.
due reti vengono addestrate in modo competitivo, con 4. Denoising diffusion probabilistic models (DDPM): i
il generatore che cerca di ingannare il discriminatore e DDPM sono modelli generativi che utilizzano un
il discriminatore che cerca di migliorare la sua capacità processo di diffusione inversa per generare nuove
di distinguere tra i dati reali e quelli generati. Questo immagini. Invece di utilizzare un processo avversa-
processo porta a un miglioramento iterativo delle per- rio come nelle GANs, i DDPM si fondano su un’ot-
formance di entrambe le reti. timizzazione basata sulla massima verosimiglianza.
Durante l’addestramento, i DDPM apprendono a ri-
muovere progressivamente il rumore dalle immagi-
2.2 Applicazioni di generative AI ni corrotte per ricostruire le immagini originali, e
possono generare nuove immagini invertendo que-
I modelli generativi trovano applicazione in una vasta sto processo di denoising.
gamma di settori, come la generazione di immagini, la
sintesi di testo, la creazione di musica, il miglioramento Queste tecniche rappresentano diversi approcci alla ge-
delle immagini, la traduzione tra domini e la generazio- nerazione di immagini e sono state utilizzate con suc-
ne di dati per l’addestramento di altri modelli di machi- cesso in vari ambiti, come:
ne learning. • la sintesi di immagini a partire da un input testuale,
come da esempio in Figura 1: sono disponibili onli-
ne interi archivi di immagini generate da istruzioni
2.2.1 Sintesi di immagini testuali, si veda ad esempio https://www.midjour-
ney.com/showcase/top;
Nel campo della generative AI le tecniche più utilizzate • il completamento di immagini;
per la generazione di immagini sono: • il trasferimento di stile e l’arte generativa: queste
1. GANs (Generative Adversarial Networks): le GANs, tecniche possono essere utilizzate per applicare lo
come accennato in precedenza, sono architetture stile di un’immagine a un’altra, creando opere d’arte
composte da due reti neurali, un generatore e un uniche e personalizzate;
discriminatore, che lavorano in competizione l’uno • il miglioramento della risoluzione delle immagini
con l’altro. Il generatore crea immagini false, men- (super-resolution): alcune tecniche di generazione di
tre il discriminatore tenta di distinguere tra imma- immagini possono essere utilizzate per aumentarne
gini false e immagini reali. Durante l’addestramen- la risoluzione, migliorando la qualità di quelle a bas-
to, il generatore cerca di migliorare la qualità delle sa risoluzione;
immagini create per ingannare il discriminatore, • la generazione di dati per l’addestramento: le tec-
mentre il discriminatore cerca di migliorare la sua niche di generazione di immagini possono essere
capacità di riconoscere le immagini false. usate per creare grandi set di dati di immagini sin-
2. VAEs (Variational autoencoders): i VAEs sono model- tetiche, che possono essere utilizzati per addestrare
li generativi probabilistici basati sull’autoencoder, modelli di apprendimento automatico in scenari in
una rete neurale che impara a comprimere i dati in cui i dati reali sono limitati o costosi da ottenere;
uno spazio latente e a ricostruirli successivamente. • la traduzione di immagini tra diversi domini: alcune
I VAEs aggiungono un vincolo sulla distribuzione tecniche possono essere impiegate per convertire
dello spazio latente per garantire che le immagini immagini tra diversi domini, ad esempio trasforma-

6 BO aprile 2023
Figura 1 - Esempio di immagini generate da tre sistemi automatici differenti a fronte dello stesso testo in input: “Un uomo
anziano che riposa la testa su un succoso cheeseburger, alta qualità, stile fotografico, ultra realistico, profondità di campo”

re immagini in stile schizzo in immagini a colori o die, ritmi e armonie partendo da diversi input, testo,
convertire immagini notturne in diurne; gesti, melodie preesistenti;8
• la generazione di contenuti per videogiochi e real- • Riffusion, un sistema di AI che compone musica uti-
tà virtuale: le tecniche di generazione di immagini lizzando un sistema di Stable Diffusion per creare
possono essere utilizzate per creare automatica- l’immagine dello spettrogramma della melodia che
mente texture, oggetti e ambienti per videogiochi e sta generando.9
applicazioni di realtà virtuale;
• la modellazione e la visualizzazione di dati scientifi- I progressi nella generative AI stanno avendo impatti
ci: queste tecniche possono essere utilizzate per ge- significativi nell’industria musicale rendendo possibile
nerare rappresentazioni visive di dati complessi, ad per gli artisti creare nuova musica in modo semplice e
esempio, per creare immagini di molecole o struttu- con nuove vie per esprimere la propria creatività. Mol-
re cellulari in base ai dati sperimentali. ti compositori stanno già usando queste tecnologie per
produrre le loro opere, come il brano Marry me dell’ar-
Su questi argomenti esiste una vasta letteratura di rife- tista Robbie Barrat, pubblicato da Columbia Records, o
rimento, che ne descrivere i complessi caratteri e fun- l’album AI-Generated Music di Holly Herndon, pubblica-
zioni.6 to da Warp Records.
Con il progredire di queste tecnologie si intravede la
possibilità che aumenterà anche la loro diffusione e il
2.2.2 Creazione di musica loro impatto nella produzione musicale.
2.2.3 Generazione di testo
I più recenti progressi nell’AI generativa applicata alla La generative AI è ampiamente utilizzata anche nella ge-
musica sono determinati dallo sviluppo di modelli di AI nerazione di testo. Modelli come GPT di OpenAI (Brown
che possono generare musica di ogni genere data una et al., 2020) sono in grado di produrre testi coerenti e
descrizione testuale. Questi modelli sono in grado di paragonabili a testi scritti da umani in vari stili e for-
generare musica che è indistinguibile da musica com- mati. Questi modelli possono essere utilizzati per la
posta da noi umani. Alcuni esempi sono: scrittura creativa, la traduzione automatica, la sintesi di
• MusicLM, un sistema di AI generativa sviluppato da testo e altre applicazioni legate al linguaggio naturale.10
Google che può creare musica di ogni genere data I modelli linguistici di grandi dimensioni (Large Lan-
una descrizione testuale. È in grado di generare bra- guage Models, LLM) sono un esempio di questo tipo di
ni complessi e in alta fedeltà, e può anche generare AI e rappresentano uno dei più grandi progressi nel
variazioni su melodie esistenti;7 campo del Natural Language Processing (NLP) degli ul-
• Musi-co, una piattaforma per la creazione di musica timi anni. Gli LLM, come GPT-3, sono potenti modelli
che permette agli utenti di generare infinite melo- di AI generativa che utilizzano enormi quantità di dati

BO aprile 2023 7
per produrre testi spesso indistinguibili dai contenuti ampia e vedere i LLM come componenti funzionali per
scritti dall’uomo. Questi modelli sono stati addestrati la costruzione di nuovi strumenti. Sebbene la costruzio-
su diverse fonti testuali, consentendo loro di generare ne di questi strumenti e la loro integrazione in sistemi
informazioni contestualmente rilevanti su una vasta completi richieda tempo e una significativa riconfigu-
gamma di argomenti. razione dei processi esistenti nell’economia, già oggi si
Vedremo nei prossimi paragrafi come i Large Langua- osservano tendenze emergenti di adozione. Nonostante
ge Models offrono prestazioni tali da renderli strumen- le loro limitazioni, i LLM stanno diventando sempre più
ti utili in svariate applicazioni, ponendo le basi per la integrati in applicazioni specializzate in aree come l’as-
nuova era dell’intelligenza artificiale. sistenza alla scrittura, la programmazione e la ricerca
legale, aprendo la strada per un’adozione più diffusa dei
GPT.
3. Lo sviluppo dei grandi modelli È importante considerare questi sistemi più articolati e
di linguaggio completi che integrano le funzionalità dei LLM anche
perché i soli modelli LLM generalisti pronti all›uso pos-
Negli ultimi anni, i grandi modelli di linguaggio (LLM) sono continuare a essere poco affidabili per vari com-
sono diventati sempre più importanti nel campo della piti a causa di problemi come l’inaccuratezza dei fatti,
ricerca sull’intelligenza artificiale (AI), dimostrando la i bias intrinseci, le preoccupazioni per la privacy e i ri-
loro capacità di affrontare una vasta gamma di compi- schi di disinformazione (Abid et al., 2021; Schramowski
ti complessi basati sul linguaggio. Questo progresso è et al., 2022; OpenAI, 2023a). I sistemi costruiti a suppor-
stato alimentato da numerosi fattori, tra cui un aumen- to di processi verticali specifici possono contribuire a
to del numero di parametri del modello, una maggiore risolvere queste limitazioni incorporando competenze
quantità di dati di addestramento e una migliore con- specifiche di dominio.
figurazione del training (Brown et al., 2020; Radford et È interessante considerare che potrà emergere un cir-
al., 2019; Hernandez et al., 2021; Kaplan et al., 2020). I colo virtuoso, quando i LLM supereranno una certa
LLM di ultima generazione, come LaMDA (Thoppilan et soglia di prestazioni e potranno contribuire essi stessi
al., 2022) e GPT-4 (OpenAI, 2023b), eccellono in diverse alla costruzione degli strumenti che migliorano la loro
applicazioni come la traduzione, la classificazione, la utilità e usabilità in vari contesti. Ciò potrebbe ridurre
scrittura creativa e la generazione di codice – capacità il costo e le competenze ingegneristiche necessarie per
che in precedenza richiedevano modelli specializzati creare tali strumenti, accelerando ulteriormente l›ado-
per compiti specifici sviluppati da ingegneri esperti uti- zione e l›integrazione dei LLM (Chen et al., 2021; Peng
lizzando dati specifici del dominio. et al., 2023). I LLM possono anche diventare strumenti
Contemporaneamente, i ricercatori hanno migliorato preziosi nello sviluppo di modelli di machine learning,
la gestibilità, l’affidabilità e l’utilità di questi modelli servendo come assistenti allo sviluppo e coding per ri-
utilizzando metodi come il fine-tuning e il reinforcement cercatori, come servizi di annotazione dei dati o gene-
learning con feedback umano (Ouyang et al., 2022; Bai ratori di dati sintetici. Man mano che i LLM migliorano
et al., 2022). Questi progressi migliorano la capacità dei nel tempo e si allineano meglio alle preferenze dell’u-
modelli di comprendere l’intento dell’utente, rendendo- tente, possiamo prevedere un continuo miglioramento
li più amichevoli e pratici. Inoltre, recenti studi rivelano delle prestazioni.
il potenziale dei LLM per programmare e controllare al-
tri strumenti digitali, come API, motori di ricerca e per-
sino altri sistemi di intelligenza artificiale generativa 3.1 Fermento nell’industria del software e prime
(Schick et al., 2023; Mialon et al., 2023; Chase, 2022). Ciò applicazioni
consente l’integrazione senza soluzione di continuità di
singoli componenti per una maggiore utilità, prestazio- In virtù delle interessanti caratteristiche dei LLM e del-
ni e generalizzazione. Nel lungo periodo, questi trend le loro possibili applicazioni, assistiamo al proliferare
suggeriscono che i LLM potrebbero essere in grado di di nuovi modelli annunciati e resi disponibili da diverse
eseguire qualsiasi compito tipicamente svolto su un aziende e istituzioni. Sicuramente il più noto è GPT-3,
computer. realizzato da OpenAI, che fin dai suoi esordi nel 2020
I modelli di intelligenza artificiale generativa sono sta- ha sorpreso anche i non addetti ai lavori (famoso è sta-
ti utilizzati principalmente come moduli specializzati, to l’articolo pubblicato sul “The Guardian” l’8 settembre
svolgendo compiti specifici come la generazione di im- 2020 scritto interamente da GPT-311). La notorietà di
magini da brevi descrizioni o la trascrizione di testo da GPT-3 è diventata ancora maggiore con una diffusione
discorsi. Possiamo però adottare una prospettiva più quasi dirompente, da fine novembre 2022, quando Ope-

8 BO aprile 2023
 Figura 2 - Principali modelli basati su architettura a Transformer. Fonte: Xavier Amatriain, Transformer models: an
introduction and catalog, 2023, https://arxiv.org/abs/2302.07730

nAI ha reso pubblicamente accessibile in un ambiente tup focalizzate nel declinare i LLM in compiti specifici
sperimentale ChatGPT, un chatbot basato su GPT-3 che e una estesa comunità che contribuisce alla definizione
ha consentito a milioni di persone nel mondo di intera- e manutenzione di modelli Open Source. Il contributo
gire via chat con il modello linguistico, sperimentando aperto alla comunità di addetti ai lavori è molto impor-
in prima persona i limiti e le potenzialità di questi stru- tante per garantire il progresso della ricerca, la demo-
menti. cratizzazione nell’utilizzo, la possibilità di adozione e di
Da allora quasi ogni settimana viene annunciato un personalizzazione di questa importante tecnologia in
nuovo LLM o una nuova versione. Qui di seguito vengo- modo il più possibile diffuso e trasversale per contene-
no segnalati alcuni tra i più recenti e importanti: re l’accentramento delle competenze e delle capacità di
• GPT-4, l’ultima evoluzione dei LLMs di OpenAI; innovazione in capo a pochi soggetti.
• LaMDA, su cui si basa il recentissimo sistema di ri- A inizio 2023 Nat Friedman ha realizzato nat.dev,12 un
cerca conversazionale di Google BARD; piccolo strumento online in cui si possono confrontare
• Google Flan-T5; le caratteristiche e prestazioni di molti diversi LLMs, sia
• LLaMA, recentemente annunciato da Mark Zucker- Open Source sia proprietari. È uno strumento utile per
ber per Meta; osservare come i diversi gruppi di ricerca declinano le
• Claude, assistente AI dell’azienda Antrophic; capacità dei loro modelli e come questi generino le ri-
• Cohere, realizzato da una start up canadese; spettive risposte a fronte del nostro medesimo prompt.
• Forefront.ai, servizio che rende disponibili diversi È abbastanza immediato verificare come GPT-3 e GPT-4
modelli Open Source; offrono risultati migliori in tutti i compiti.
• Bloom, della azienda Hugging.Face. Oltre allo sviluppo dei modelli, nel panorama delle ap-
plicazioni rivolte al pubblico più vasto si può notare una
In Figura 2 un diagramma mostra i principali model- crescente diffusione di funzionalità basate sui modelli
li basati su architettura a Transformer indicando sulle di linguaggio. I principali produttori di software, infatti,
ascisse l’anno di introduzione e sulle ordinate la dimen- stanno iniziando ad arricchire i loro prodotti integran-
sione di ciascun modello. do le capacità offerte dai LLM per semplificare le attivi-
Nel contesto attuale gli sforzi nella realizzazione di LLM tà di scrittura, per la gestione dei rapporti con i clienti o
vedono come attori principali le grandi imprese del per gestire le attività di vendita.
software come Meta, Microsoft (OpenAI) e Google che La crescente attenzione e importanza che questa tec-
dispongono di ingenti risorse per finanziare i costi di nologia rappresenta oggi si può anche determinare os-
addestramento di modelli molto sofisticati, alcune star- servando come Microsoft e Google stiano rivaleggian-

BO aprile 2023 9
do per prepararsi a fornire i migliori servizi potenziati conoscenze specifiche del dominio e di adattarsi alle
dall’AI per i loro utenti. Tutte le applicazioni di Office esigenze di specifiche applicazioni (Brown et al., 2020).
Automation di uso quotidiano verranno arricchite di
nuove funzionalità basate su LLMs e anche il modo
con cui eseguiamo le ricerche sul web è in profonda 4.1 ChatGPT, l’esperienza collettiva
trasformazione supportata proprio da LLM sempre più
performanti. Già ora possiamo sperimentare qualche A fine novembre 2022 OpenAI ha reso pubblicamente
anteprima con le nuove versioni di Microsoft Office 365 accessibile ChatGPT, un ambiente di test dove milioni
Copilot, Microsoft Bing e Google Bard.13 di persone possono testare le capacità di GPT-3 attraver-
In questo scenario cerchiamo di descrivere il fenomeno so una semplice interfaccia conversazionale.
GPT e il suo posizionamento nel contesto dei LLM. ChatGPT introduce almeno due importanti novità. La
prima è senz’altro la modalità di interazione semplice
e immediata: possiamo chiedere al modello GPT-3 di
4. OpenAI GPT: un LLM all’avanguardia eseguire ogni compito semplicemente dialogando e al
contempo fornire una nostra valutazione della qualità
Generative Pre-trained Transformer 3 (GPT-3) è un model- del risultato ottenuto. La seconda importante novità è
lo di intelligenza artificiale sviluppato da OpenAI che ha il fine-tuning che OpenAI ha adottato per rendere GPT-3
rivoluzionato il campo del Natural Language Processing. in grado di funzionare e produrre risposte adeguate a
GPT-3 è il terzo modello della serie GPT ed è incredibil- una interazione conversazionale utilizzando una tecni-
mente potente grazie alla sua capacità di generare testo ca di machine learning chiamata Reinforcement learning
coerente e contestualmente corretto. Questo modello from human feedback (RFHF).
ha dimostrato capacità sorprendenti nel comprendere La semplicità di interazione e l’ampia diffusione di
e generare testo in diverse lingue e in vari contesti, ren- ChatGPT hanno contribuito a determinare la curiosità
dendolo uno strumento versatile e adatto a molteplici e l’interesse per i LLM e di fornire a OpenAI numerosi
applicazioni. feedback e commenti sia critici che di grande apprezza-
GPT-3, su cui esiste una abbondante letteratura scien- mento che sono stati utilizzati per progredire lo svilup-
tifica di riferimento,14 sfrutta un’architettura chiamata po delle future versioni.
Transformer, già richiamata in precedenza, origina-
riamente introdotta nel 2017 da Vaswani et al. Il Tran-
sformer è un tipo di rete neurale che si basa su mec- 4.2 Perché GPT è rivoluzionario. La lingua come
canismi di attenzione per processare sequenze di dati modello di ragionamento?
di lunghezza variabile. L’architettura Transformer uti-
lizza principalmente due componenti chiave: l’atten- Come abbiamo visto il progresso più rilevante della
zione multi-head e il posizionamento degli input nella ricerca nell’AI degli ultimi anni è stata l’evoluzione del
sequenza. L’attenzione multi-head consente al modello Natural Language Processing raggiunta dai grandi mo-
di attribuire importanza a diverse parole nel contesto, delli di linguaggio, come GPT-3.
mentre il posizionamento degli input aiuta il modello a Al di là degli aspetti più propriamente tecnici e scienti-
comprendere l’ordine delle parole nella sequenza. Que- fici molto complessi che sottendono all’esistenza di que-
sti due meccanismi permettono a GPT-3 di catturare re- sti modelli di linguaggio e che a loro volta si fondano
lazioni complesse tra parole e contesti. su concetti e nozioni che richiedono anni di studio per
GPT-3 viene pre-allenato su un vasto corpus di testo non poter essere compresi, perché i LLMs come GPT-3 sono
supervisionato, che include siti web, libri, articoli e altri da ritenere così importanti?
tipi di contenuti. Il modello viene allenato per minimiz- L’architettura di rete a Transformer introdotta nel famo-
zare l’errore sulla probabilità di generare correttamente so articolo Attention is all you need da un team di ricerca-
la prossima parola in una sequenza, data la sequenza di tori di Google Brain nel 201715 consente agli algoritmi di
parole precedenti. machine learning basati sulle reti neurali che sfruttano
Una volta completato il pre-allenamento, GPT-3 può tale architettura di imparare e riconoscere le regole del
essere adattato a specifici compiti di elaborazione del linguaggio naturale semplicemente osservando enor-
linguaggio naturale (NLP) attraverso un processo chia- mi quantitativi di testo senza la necessità di fornire dei
mato fine-tuning. Durante il fine-tuning, GPT-3 viene al- dati di addestramento specificamente preparati per lo
lenato su un insieme di dati etichettati specifico per il scopo. Questo è stato l’inizio della rivoluzione. Possia-
compito, con l’obiettivo di minimizzare l’errore per quel mo affermare che l’introduzione dei Transformer ha
compito. Il fine-tuning permette a GPT-3 di acquisire dato l’avvio a un cambio di paradigma nell’affrontare e

10 BO aprile 2023
 delli, e GPT-3 in particolare, hanno
suscitato dapprima nella comunità
scientifica degli addetti ai lavori.
La loro capacità di eseguire tutti i
diversi compiti tipici della lingui-
stica computazionale e del Natu-
ral Language Processing, come ad
esempio la sintesi di testi lunghi o
la traduzione tra due lingue qua-
lunque o da lingue naturali verso
linguaggi di programmazione, con
una qualità analoga o superiore
ad altri modelli costruiti apposi-
tamente ciascuno per lo specifico
scopo e perdipiù senza aver predi-
sposto dati di training specifico per
quei compiti.
Figura 3 - Esempio in cui GPT-4 riscrive una frase modificandone lo stile
Abbiamo a disposizione un po-
tente strumento automatico che
risolvere una classe di problemi di machine learning. Un ci può assistere nei compiti linguistici, come ad esem-
primo risultato sorprendente dei LLMs addestrati utiliz- pio tradurre un testo, scrivere una e-mail, produrre
zando questa tecnica e le sue molteplici derivazioni e af- un riassunto di un documento, generare un codice di
finamenti è appunto la loro abilità nel rappresentare il programmazione, modificare lo stile di un testo, rifor-
linguaggio naturale senza un addestramento specifico. mulare una frase o estendere un concetto. In Figura 3
Tradizionalmente per ogni specifico compito di analisi si propone un gioco in cui GPT-4 tenta di riformulare
del testo scritto, i relativi modelli di machine learning ve- quest’ultima frase utilizzando uno stile che si rifà alla
nivano addestrati preparando costosi insiemi di esempi scrittura di Umberto Eco.
per ogni passo del processo di analisi. Nonostante i di- Disponiamo quindi di un ottimo motore linguistico in
screti risultati che otteniamo, questo approccio ha sem- grado di eseguire compiti per i quali non è stato specifi-
pre mostrato due evidenti limiti: da un lato il costo altis- catamente addestrato e di stupirci con abilità inattese,
simo di etichettare a mano ogni singola parola all’interno abilitando una seria ampia di applicazioni che potranno
di un corpus di documenti necessario per l’addestramen- interagire con gli utenti attraverso semplici istruzioni
to e la conseguente limitazione in termini di varietà di in linguaggio naturale, e assistere noi utilizzatori in al-
esempi possibili e di rappresentazione delle diverse lin- cune attività più routinarie, che in ambiente Microsoft
gue (per ciascuna lingua decine di corpus con milioni di sono state definite quelle di un copilota.17
documenti dovevano essere predisposti con una etichet- Ogni giorno scopriamo nuove abilità di GPT in contesti
tatura manuale); dell’altro lato, di conseguenza, presta- diversi, dalle attività di linguistica computazionale, dal-
zioni appena discrete e un progresso lento. la generazione di testo con qualità simile al testo gene-
Ora, semplificando, abbiamo la possibilità di sottoporre rato da un essere umano, alla risoluzione di problemi di
agli algoritmi di addestramento un mare sconfinato di logica, di finanza, di informatica e così via. Le recenti
testi in tutte le lingue e linguaggi, e questi derivano in versioni di LLM che si susseguono mostrano notevoli
autonomia le regole del funzionamento del linguaggio capacità in una varietà ampia di domini e attività met-
umano, imparano cosa sono le parole, la loro morfolo- tendo in discussione la nostra comprensione dell’ap-
gia, la sintassi, la grammatica e la semantica. Anzi, ora prendimento dei processi cognitivi.
con un sistema evoluto come GPT-3, possiamo chiedere Sembrerebbe quindi che questi modelli più sofisticati,
al modello così ottenuto di eseguire l’analisi di una frase venendo esposti a quantitativi enormi di testi, nell’ap-
in (quasi) qualunque lingua, di eseguire ad esempio il prendere il significato delle parole e le regole del lin-
part-of-speech o POS tagging16 o derivarne l’albero sintat- guaggio naturale, abbiano anche in qualche modo ap-
tico e il LLMs, senza nessun addestramento specifico, preso alcune abilità di astrazione e di ragionamento
genererà un output con una qualità comparabile e se rivelando forse come noi umani abbiamo trasferito nel-
non superiore a quella di modelli e algoritmi specifica- la lingua alcuni dei nostri processi logici e di ragiona-
mente costruiti e addestrati per farlo. mento e che questi siano stati in parte desunti e trasfe-
Ecco un piccolo esempio dello stupore che questi mo- riti nelle sinapsi di questi nuovi modelli del linguaggio.

BO aprile 2023 11
 alle professioni a cui è stato sottoposto, i risul-
tati ottenuti da GPT-4 si posizionano tra i mi-
gliori in assoluto.
GPT-4 è stato testato rispetto tutti i criteri di va-
lutazione progettati per misurare le prestazioni
dei Language Models e ha superato in modo con-
siderevole tutti i modelli esistenti ridefinendo lo
stato dell’arte in svariati campi di applicazione.
GPT-4 non si distingue per l’ampiezza della sua
conoscenza, sempre limitata a settembre 2021,
ma per le sue capacità di elaborazione del lin-
guaggio naturale, a cui si aggiunge la capaci-
tà nuova, che non era presente nelle versioni
Figura 4 - Esempio proposto nell’articolo di Luciano Floridi precedenti, di interpretare non solo i testi ma
anche le immagini, aprendo a nuovi scenari di
applicazione.
Al momento della stesura dell’articolo GPT-4
è disponibile attraverso ChatGPT solo per gli
utenti che hanno sottoscritto un abbonamento
a pagamento, oppure via API transitando per
una lista di attesa. Personalmente lo sto utiliz-
zando ed eseguendo i primi esperimenti che
confermano la maggiore qualità delle risposte
Figura 4a - Lo stesso esempio utilizzando ChatGPT con il modello che ottengo e la miglior qualità di ragionamen-
GPT-4 e la frase proposta in lingua inglese to e di problem solving.
Di seguito un piccolo esempio suggerito da un
recente articolo di Luciano Floridi, in cui sotto-
poneva a GPT-3.5 una semplice domanda di com-
prensione del testo come riportato in Figura 4.19
Ho provato a porre la stessa domanda utilizzan-
do il nuovo modello GPT-4 ottenendo la rispo-
sta corretta (Figure 4a e 4b).
Figura 4b - Lo stesso esempio utilizzando ChatGPT con il modello
GPT-4 e la frase proposta in lingua italiana
4.4 GPT-4 è un passo verso la AGI?

4.3 GPT-4: caratteristiche e potenzialità Una differenza fondamentale tra intelligenza artificia-
le e intelligenza artificiale generale (AGI, dall’inglese
GPT-4 (OpenAI, 2023b) estende ulteriormente le capaci- Artificial General Intelligence) è che l’AI è ristretta all’e-
tà e le potenzialità dei modelli di linguaggio: le miglio- secuzione di un compito specifico (riconoscere il vol-
rie rispetto al precedente GPT-3 riguardano la qualità to di una persona in un’immagine, giocare a scacchi,
delle risposte generate, le capacità di astrazione e di ra- rimuovere lo spam della casella di posta ecc.), mentre
gionamento. GPT-4 ha dimostrato prestazioni di livello un’ipotetica AGI dovrebbe poter affrontare problemi di
umano nella maggior parte degli esami accademici e qualsiasi natura come un essere umano.
professionali su cui è stato misurato. L’intelligenza artificiale generale si riferisce quindi a
Notevole, ad esempio, il risultato ottenuto nell’esame un’AI altamente autonoma che possiede la capacità di
Uniform Bar Examination (UBE) che ha superato con un apprendere, comprendere, adattarsi e applicare la pro-
punteggio che si posiziona nel 10% dei primi di tutti i pria intelligenza in un’ampia varietà di compiti e conte-
punteggi ottenuti dai partecipanti a quell’esame.18 sti, in modo simile a quanto fa un essere umano.20
Come ampiamente documentato nel report associato Sebbene non ci siano al momento analisi o dati che so-
alla pubblicazione di GPT-4, la nuova versione supera stengono che GPT-4 sia un esempio di intelligenza arti-
GPT-3 in tutti i benchmark con cui i modelli vengono va- ficiale generale esistono tuttavia numerosi elementi per
lutati. In decine di diversi test accademici e di accesso ritenere, tenendo conto delle affermazioni di Bill Gates

12 BO aprile 2023
riportate in apertura, che siamo all’alba di qualcosa di Le cosiddette “allucinazioni” di GPT-3 sono una carat-
nuovo, che riguarda tutti e che ci richiede un coinvolgi- teristica peculiare del modello, che talvolta fornisce ri-
mento diretto per poter contribuire nell’immaginare i sposte errate o inventa informazioni con un tono asser-
prossimi passi e le migliori ricadute e applicazioni. tivo. Questo fenomeno solleva preoccupazioni riguardo
Sam Altman, CEO di OpenAI, in una recente intervista l’affidabilità e l’utilizzo di GPT-3, soprattutto nei conte-
ha così definito GPT-4: sti dove l’accuratezza e l’affidabilità delle informazioni
sono fondamentali.
Che cos’è GPT? È un sistema a cui guarderemo indie- Nonostante i progressi compiuti nell’addestramento e
tro dicendo che era una Intelligenza Artificiale molto nella configurazione dei modelli, i LLM, pur essendo
giovane, era lenta e difettosa, molte cose non le riusci- in grado di generare testi coerenti e plausibili, possono
vano bene, ma lo stesso pensiamo oggi dei primissimi generare informazioni inesatte, fuorvianti o obsolete24 a
computer che hanno definito la strada verso gli oggetti causa di diverse ragioni, tra cui:
che oggi sono diventati molto importanti nelle nostre 1. Bias nei dati di addestramento: i modelli apprendo-
vite anche se hanno richiesto decenni per evolvere.21 no dai dati a loro disposizione, che possono conte-
nere informazioni sbagliate, fuorvianti o parziali.
Un articolo recentemente pubblicato dai ricercatori di Questo può portare a risposte inesatte o distorte;
Microsoft Research22 riporta alcune evidenze che GPT-4 2. Overfitting: i LLM possono memorizzare informazio-
mostra molte tracce di intelligenza secondo la definizione ni specifiche dai dati di addestramento, il che può
che ne diede nel 1994 un gruppo di 52 psicologi che sot- portare a risposte obsolete o non più valide nel con-
toscrissero un editoriale fondativo della scienza dell’in- testo attuale;
telligenza.23 Il gruppo di lavoro definì l’intelligenza come 3. Ambiguità nella domanda: le domande degli utenti pos-
una capacità mentale molto generale che, tra le altre cose, sono essere ambigue o poco chiare, il che può portare il
coinvolge la capacità di ragionare, pianificare, risolvere modello a generare risposte inesatte o fuorvianti.
problemi, pensare in modo astratto, comprendere idee
complesse e imparare rapidamente dall’esperienza. Per interpretare i risultati di GPT-3, è essenziale tenere a
Questa definizione implica che l’intelligenza compren- mente che il modello è un generatore di testo e non un
da un’ampia gamma di abilità e competenze cognitive. esperto di dominio. Pertanto, le risposte fornite dal mo-
Secondo i ricercatori, GPT-4, pur essendo un modello dello devono essere valutate criticamente e confrontate
di linguaggio, dimostra considerevoli capacità in una con altre fonti autorevoli prima di considerarle attendi-
varietà di domini e attività, incluse astrazione, visione, bili. Inoltre, è possibile utilizzare tecniche di mitigazio-
programmazione, matematica, medicina, legge, com- ne, come il controllo dell’output del modello o l’intro-
prensione delle emozioni umane e molto altro. duzione di un feedback umano, per ridurre il rischio di
Nel corso dello studio i ricercatori raccolgono le evidenze allucinazioni.25
di queste capacità eseguendo decine di test molto vari ed Le ragioni sopra citate, per quanto non esaustive, ci
estesi andando oltre i benchmark classicamente usati per conducono a una importante riflessione.
misurare le prestazioni di un sistema di AI, concludendo I principali limiti e problematiche che vengono più
che GPT-4 sembra mostrare qualche traccia di AGI. comunemente riscontrati nei modelli sofisticati come
Nel prossimo futuro vedremo certamente molta atten- GPT-3 o GPT-4 sono per la maggior parte riconducibili
zione da parte della comunità scientifica nell’interpre- alle informazioni contenute nei testi generati in rispo-
tare i risultati ottenuti dai numerosi LLMs, analizzarne sta a qualche nostro stimolo, informazioni che talvol-
i limiti e le debolezze e nel provare a sviluppare nuove ta possono essere false o incongruenti. La valutazione
versioni migliori e più affidabili. I risultati futuri natu- delle capacità del modello basata sulla verità delle in-
ralmente sono incerti ma ci pervade la sensazione che formazioni restituite è però una valutazione parziale e
potremo assistere a un rapido e continuo progresso del- limitata a un aspetto che originariamente è considerato
le capacità dei prossimi modelli del linguaggio. secondario.
Come abbiamo visto i LLM esistono e sono stati adde-
strati per svolgere compiti tipici della trattazione del
5. Allucinazioni di GPT: affidabilità linguaggio naturale e non per interpretare il ruolo di
e accuratezza delle informazioni oracoli onniscienti o di esperto di qualche dominio.
È importante quindi distinguere due tipologie di abilità:
Il fatto che GPT-3 possa fornire risposte errate a sempli- 1. Capacità linguistiche, di astrazione e di generazione
ci domande solleva dubbi sulla sua intelligenza e sulle di testo coerente;
sue capacità cognitive. 2. Conoscenza di dominio.

BO aprile 2023 13
Se valutiamo un LLM come GPT-3 e GPT-4 sulla base dei capacità, è importante procedere parallelamente nelle
criteri che afferiscono alla prima abilità, è dimostrato attività necessarie a garantire che le prossime AI siano
che i risultati sono sorprendentemente positivi, forse allineate alle intenzioni dei loro progettisti e agli obiettivi
non sempre perfetti, ma certamente molto efficaci e di benessere per la collettività. Per questo motivo tutti noi
sorprendenti. siamo chiamati a riflettere e dibattere su queste tematiche
Per quanto riguarda invece le abilità che necessitano contribuendo al progresso della tecnologia nella direzione
anche di generare risposte accurate, coerenti, il più che riteniamo più utile e benefica per i nostri obiettivi.
possibile senza bias, è necessario ulteriore lavoro. È
fondamentale sviluppare meccanismi di controllo e va-
lidazione delle risposte dei modelli, integrando l›esperi-
enza specifica del dominio e il coinvolgimento umano BIBLIOGRAFIA
nel processo decisionale.
Entro questi limiti è probabile che potremmo disporre Abid et al., 2021 = Abubakar Abid, Maheen Farooqi, James Zou, Per-
di molti modelli che, partendo da grandi modelli pre-ad- sistent anti-muslim bias in large language models, “Proceedings
destrati, verranno raffinati (fine-tuning) su conoscenze of the 2021 AAAI/ACM Conference on AI, Ethics, and Society”
specifiche per diversi domini di conoscenza. È un am- (2021), p. 298-306, https://doi.org/10.48550/arXiv.2101.05783.
bito di lavoro molto interessante che coinvolge diverse Bai et al., 2022 = Yuntao Bai et al., Training a helpful and har-
professionalità e discipline e vede esperti di machine lear- mless assistant with reinforcement learning from human fee-
ning lavorare insieme a esperti di dominio per raffinare dback, arXiv preprint (2022), arXiv:2204.05862, https://doi.
e migliorare sia la capacità del modello di interagire con org/10.48550/arXiv.2204.05862.
gli utenti sia le sue competenze per ridurre così le aber- Brown et al., 2020 = Tom Brown et al., Language models are few-
razioni. Un ambito di applicazione di grande interesse, shot learners, “Advances in neural information processing
che vedrà concentrarsi gli sforzi di una auspicabilmente systems”, 33 (2020), p. 1877-1901.
vasta comunità, è l’utilizzo di futuri LLMs come strumen- Chase, 2022 = Chain Lang, https://github.com/hwchase17/lan-
ti di supporto nell’ambito dell’insegnamento. gchain.
Nel frattempo, sia OpenAI sia Google stanno iniziando a Chen et al., 2021 = Mark Chen et al., Evaluating large lan-
rendere disponibile la possibilità per i loro LLMs (GPT-x guage models trained on code, arXiv preprint (2021), ar-
e LaMBA) di reperire dati e informazioni aggiornate per Xiv:2107.03374, https://doi.org/10.48550/arXiv.2107.03374.
abilitare la generazione di risposte non limitate sui dati Hernandez et al., 2021 = Danny Hernandez et al., Scaling laws
acquisiti in fase di training ma integrate da nozioni spe- for transfer, arXiv preprint (2021), arXiv:2102.01293, https://
cifiche rispetto alla domanda posta. I modelli hanno doi.org/10.48550/arXiv.2102.01293.
così la possibilità di estendere la conoscenza necessaria Kaplan et al., 2020 = Jared Kaplan et al., Scaling laws for neural
per svolgere il compito richiesto attingendo in tempo language models, arXiv preprint (2020), arXiv:2001.08361,
reale a fonti esterne (ad esempio notizie sul web, gli https://doi.org/10.48550/arXiv.2001.08361.
orari dei collegamenti aerei, il calendario degli eventi, Mialon et al., 2023 = Grégoire Mialon et al., Augmented langua-
l’archivio dei documenti o dei contatti) mitigando le al- ge models: a survey, arXiv preprint (2023), arXiv:2302.07842,
lucinazioni talvolta contenute nei testi generati e apren- https://doi.org/10.48550/arXiv.2302.07842.
do la strada a nuove possibili applicazioni. OpenAI, 2023a = Gpt-4 system card, Technical report, OpenAI,
https://cdn.openai.com/papers/gpt-4-system-card.pdf.
OpenAI, 2023b = Gpt-4 technical report, Technical report, Ope-
6. Conclusioni nAI, https://doi.org/10.48550/arXiv.2303.08774.
Ouyang et al., 2022 = Long Ouyang et al., Training language mo-
Stiamo attraversando un periodo peculiare di grande dels to follow instructions with human feedback, “Advances in
fermento, i recenti modelli di linguaggio riscuotono no- Neural Information Processing Systems”, 35 (2022), https://
tevole interesse per le loro capacità inattese ma sono doi.org/10.48550/arXiv.2203.02155.
ancora strumenti immaturi che richiedono ulteriori Peng et al., 2023 = Sida Peng, et al., The impact of ai on deve-
sforzi per una loro incerta prossima evoluzione. loper productivity: Evidence from github copilot, arXiv pre-
Il procedere della loro evoluzione potrebbe condurre a ca- print arXiv:2302.06590 (2023), https://doi.org/10.48550/
pacità particolarmente rilevanti che potrebbero ridefinire arXiv.2302.06590.
come interagiamo con le macchine e come affrontiamo Radford et al., 2019 = Alec Radford et al., Language models are
certi problemi, dall’educazione alla creazione di contenu- unsupervised multitask learners, “OpenAI blog”, 8 (2019), 1,
ti, dalla ricerca scientifica alle strategie economiche. p. 9, https://d4mucfpksywv.cloudfront.net/better-langua-
Seppur con poche certezze riguardo alle effettive future ge-models/language-models.pdf.

14 BO aprile 2023
Schick et al., 2023 = Timo Schick et al., Toolformer: Language ve growing of GANs for improved quality, stability, and variation,
models can teach themselves to use tools, arXiv preprint (2023), in International Conference on Learning Representations (ICLR),
arXiv:2302.04761, https://doi.org/10.48550/arXiv.2302.04761. 2018; A. Vaswani et al., Attention is all you need, in Advances in
Schramowski et al., 2022 = Patrick Schramowski et al., Large neural information processing systems, 2017, p. 5998-6008.
pre-trained language models contain human-like biases of 11
https://www.theguardian.com/commentisfree/2020/sep/08/
what is right and wrong to do, “Nature Machine Intelligen- robot-wrote-this-article-gpt-3.
ce”, 4 (2022), 3, p. 258-268, https://www.nature.com/arti- 12
https://nat.dev/compare.
cles/s42256-022-00458-8. 13
https://www.bing.com/new; https://bard.google.com; https://
Thoppilan et al., 2022 = Romal Thoppilan et al., Lamda: Langua- www.microsoft.com/en-us/microsoft-365/blog/2023/03/16/in-
ge models for dialog applications, arXiv preprint (2022), ar- troducing-microsoft-365-copilot-a-whole-new-way-to-work.
Xiv:2201.08239, https://doi.org/10.48550/arXiv.2201.08239. 14
J. L. Ba, J. R. Kiros, G. E. Hinton, Layer Normalization, 2016,
Vaswani et al., 2017 = Ashish Vaswani et al., Attention is all arXiv:1607.06450; T. Brown et al., Language models are few-shot
you need, “Advances in neural information processing sy- learners, “Advances in neural information processing systems”,
stems” (2017), https://doi.org/10.48550/arXiv.1706.03762. 33, (2020) p .1877-1901; N. Srivastava et al., Dropout: A simple
way to prevent neural networks from overfitting, “The Journal
of Machine Learning Research”, 15 (2014), 1, p. 1929-1958; A.
Vaswani et al., Attention is all you need, cit., p. 5998-6008.
NOTE 15
A. Vaswani, Attention is all you need, cit., p. 5998-6008.
16
Il POS tagging consiste nella marcatura di parole di un cor-
1
Bill Gates, The age of AI has begun: artificial intelligence is as pus testuale per identificarne le funzioni grammaticali: cfr.
revolutionary as mobile phones and the Internet, “GatesNote. The https://en.wikipedia.org/wiki/Part-of-speech_tagging.
blog of Bill Gates”, March 21, 2023, https://www.gatesnotes. 17
Jaret Spataro, Introducing Microsoft 365 Copilot – Your copi-
com/The-Age-of-AI-Has-Begun. lot for work, Microsoft Official Blog, march 2023, https://blogs.
2
Ibidem. Traduzione dell’autore. microsoft.com/blog/2023/03/16/introducing-microsoft-365-co-
3
Tom Brown et al., Language models are few-shot learners, “Ad- pilot-your-copilot-for-work.
vances in neural information processing systems”, 33 (2020), 18
L’UBE è un esame standardizzato creato dalla National Con-
p. 1877-1901. ference of Bar Examiners (NCBE). È progettato negli Stati Uniti
4
Open AI 2023, Gpt-4 technical report, https://cdn.openai.com/ per verificare le conoscenze e le abilità che ogni avvocato deve
papers/gpt-4.pdf. avere prima di ottenere la licenza per esercitare la professio-
5
Ian Goodfellow et al., Generative adversarial nets, in Advances ne forense, https://en.wikipedia.org/wiki/Bar_examination_in
in neural information processing systems, 2014, p. 2672-2680. _the_United_States.
6
Ian Goodfellow et al., Generative adversarial networks, ar- 19
L. Floridi, AI as Agency Without Intelligence: on ChatGPT, Lar-
Xiv:1406.2661, https://arxiv.org/abs/1406.2661; ge Language Models, and Other Generative Models, “Philosophy
Diederik P. Kingma, Max Welling, Auto-encoding variational and Technology”, 36 (2023), 15, https://doi.org/10.1007/s13347-
bayes, arXiv:1312.6114, https://arxiv.org/abs/1312.6114; Aaron 023-00621-y.
van den Oord, Nal Kalchbrenner, Koray Kavukcuoglu, Pixel 20
B. Goertzel, C. Pennachin, Artificial General Intelligence,
recurrent neural networks, arXiv:1601.06759, https://arxiv.org/ Berlino, Springer, 2007; S. Legg, M. Hutter, A collection of de-
abs/1601.06759; A. Radford et al., DALL-E: Creating images from finitions of intelligence, “Frontiers in Artificial Intelligence and
text, “OpenAI Blog”, 2021, https://openai.com/blog/dall-e/; Jo- applications” (2007), 57, p. 17.
nathan Ho, Ajay Jain, Pieter Abbeel, Denoising Diffusion Proba- 21
Sam Altman, Sam Altman: OpenAI CEO on GPT-4, ChatGPT,
bilistic Models, 2020, https://arxiv.org/abs/2006.11239. and the Future of AI, “Lex Fridman podcast” (2023), 367.
7
https://google-research.github.io/seanet/musiclm/examples. 22
Sebastien Bubeck et al., Sparks of Artificial General Intelli-
8
https://musi-co.com/. gence: Early experiments with GPT-4, arXiv:2303.12712, 2023,
9
https://www.riffusion.com/. https://arxiv.org/abs/2303.12712.
10
T. B. Brown et al., Language models are few-shot learners, “Ad- 23
Linda S Gottfredson, Mainstream science on intelligence: An
vances in Neural Information Processing Systems”, 33 (2020), editorial with 52 signatories, history, and bibliography, “Wall
p. 1877-1901; A. Elgammal et al., CAN: Creative adversarial Street Journal”,13 dicembre 1994.
networks generating “art” by learning about styles and deviating 24
Abubakar Abid, et al., Persistent anti-muslim bias in large lan-
from style norms, 2017, arXiv preprint arXiv:1706.07068; I. Go- guage models, “Proceedings of the 2021 AAAI/ACM Conference
odfellow et al., Generative adversarial nets, “Advances in neu- on AI, Ethics, and Society”, July 2021, p. 298-306.
ral information processing systems”, 2014, p. 2672-2680; A. G. 25
Jesse Dodge et al., Fine-tuning pretrained language models:
Huang, I. Sutskever, WaveNet: A generative model for raw audio, Weight initializations, data orders, and early stopping, arXiv pre-
2017, arXiv preprint arXiv:1609.03499; T. Karras et al., Progressi- print arXiv:2002.06305, 2020.

BO aprile 2023 15
 ABSTRACT
OpenAI has released ChatGPT to the public, sparking a discussion on the state-of-the-art advance-
ments in recent artificial intelligence models. Over the past few months, tens of millions of people
have interacted with the tool, prompting extensive contemplation on its potential, limitations, and
critical issues. In the article, we aim to contextualize ChatGPT within the broader scope of Large
Language Models’ progress and their significance in advancing Artificial Intelligence. We encourage
the widest possible involvement from everyone to ensure the most comprehensive benefits across
various potential applications.

16 BO aprile 2023