Quasi tutti, ormai, hanno usato ChatGPT almeno una volta. Molti lo usano ogni giorno. Pochi sanno davvero come funziona. È strano, se ci pensi: usiamo uno strumento che cambia il modo in cui scriviamo, lavoriamo, studiamo, senza avere un modello mentale di cosa stia succedendo dentro. È un po' come guidare una macchina senza sapere cosa sia un motore. Si può fare, ma quando qualcosa non funziona — e nell'AI capita spesso — non capisci perché.
In questo articolo provo a spiegare come funziona davvero ChatGPT, partendo dall'idea più semplice e arrivando ai meccanismi interni. Non userò matematica e non chiederò competenze tecniche. Ma non banalizzerò nemmeno — penso che si possa capire molto bene un sistema complesso usando il linguaggio giusto, e che gran parte di quello che si legge in giro semplifichi troppo, fino a perdere la cosa importante.
Una premessa di terminologia. ChatGPT è il nome del prodotto di OpenAI; sotto al cofano c'è un Large Language Model (in italiano, modello linguistico di grandi dimensioni), abbreviato LLM. Claude, Gemini, Copilot, Mistral sono tutti LLM con un'interfaccia diversa. Quando in questo articolo parlo di "come funziona ChatGPT", parlo in realtà di come funzionano gli LLM in generale — il discorso vale per tutti.
L'idea di base: predire la parola successiva
Per quanto possa sembrare incredibile, ChatGPT fa una cosa concettualmente molto semplice: data una sequenza di parole, prevede quale parola viene dopo. Tutto quello che lo strumento fa — scrivere una poesia, riassumere un contratto, risolvere un problema di matematica, conversare con te — è il prodotto di questa singola operazione, ripetuta migliaia di volte.
Pensa a quando, sul tuo telefono, scrivi "buongiorno come" e la tastiera ti suggerisce "stai". Quel suggerimento è una micro-versione di quello che fa ChatGPT, solo che ChatGPT lo fa con un'intelligenza enormemente superiore, perché ha "letto" — durante l'addestramento — una quantità immensa di testo. Sa che dopo "buongiorno come" è molto probabile che venga "stai", ma sa anche, in contesti diversi, che dopo "il presidente del consiglio italiano nel 1972 era" la parola successiva probabilmente è "Andreotti".
Quando tu scrivi a ChatGPT "spiegami come funziona una turbina eolica", il modello prende la tua frase, predice la prima parola della risposta (probabilmente "Una"), poi la seconda dato il fatto che la prima è "Una" (probabilmente "turbina"), poi la terza dato che ha già scritto "Una turbina", e così via. È una catena di previsioni, ognuna fatta tenendo conto di tutto quello che è venuto prima, sia nella tua domanda che nella risposta che sta costruendo.
Questo è il principio. Tutto il resto — l'apparente capacità di ragionare, di ricordare, di essere creativo — è il prodotto emergente di questa operazione, ripetuta con un modello sufficientemente grande e addestrato sui dati giusti.
Cosa sono i "token" e perché contano
C'è un dettaglio che vale la pena precisare, perché spiega molti comportamenti che altrimenti sembrano strani. ChatGPT non lavora esattamente sulle parole, ma su unità più piccole chiamate token. Un token può essere una parola intera, una parte di parola, un segno di punteggiatura, o anche solo uno spazio. Per dare un'idea, in inglese una parola media è circa 1,3 token; in italiano, dove le parole tendono a essere più lunghe, è circa 1,5-2 token.
Quando ChatGPT "scrive", quello che fa è generare un token alla volta. Quando tu mandi un messaggio, il sistema lo trasforma in token, fa i suoi conti, e produce token in uscita. La quantità di token che il modello può tenere in considerazione contemporaneamente si chiama finestra di contesto — è la sua memoria di lavoro. Le versioni recenti di ChatGPT possono gestire centinaia di migliaia di token (l'equivalente di un libro intero), quelle vecchie qualche migliaio.
Perché questo conta nella pratica? Perché la finestra di contesto determina quanta informazione puoi dare al modello prima che inizi a "dimenticare". In una conversazione lunga, le prime cose che hai detto possono uscire dalla finestra di contesto, e il modello smette di tenerne conto. È una delle ragioni per cui, dopo un'ora di chat, ChatGPT può sembrare "perdere il filo" — letteralmente lo sta perdendo, perché la parte iniziale della conversazione non rientra più nella sua memoria di lavoro.
Come è stato addestrato: il pre-training
Tutto quello che ChatGPT "sa" deriva da un processo di addestramento che si chiama pre-training. In questa fase — che dura mesi e costa centinaia di milioni di dollari — il modello viene esposto a una quantità enorme di testo: libri, articoli, pagine web, codice, conversazioni online, manuali. Si stima che i modelli più recenti siano stati addestrati su qualcosa come 10-15 trilioni di token, l'equivalente di milioni di libri.
Durante il pre-training, il modello fa un esercizio ripetuto miliardi di volte: gli viene presentata una sequenza di testo, gli viene nascosta l'ultima parola, e deve predirla. Confronta la sua predizione con la parola vera, e ogni volta che sbaglia, regola leggermente i suoi parametri interni per sbagliare meno la volta successiva. Dopo miliardi di iterazioni, il modello diventa straordinariamente bravo a predire la parola successiva in qualunque contesto.
Una cosa importante: durante il pre-training, il modello non sta "imparando informazioni" in modo cosciente. Sta semplicemente aggiustando dei parametri matematici per minimizzare l'errore di predizione. Eppure, alla fine del processo, sembra "sapere" un'enorme quantità di cose: chi era Cesare, come si calcola la radice quadrata, qual è la sintassi del Python. Non sa queste cose nel modo in cui le sappiamo noi — non ha una "memoria" di nozioni — ma ha imparato, predicendo parola dopo parola su milioni di testi, a generare risposte plausibili in base ai pattern statistici che ha visto.
Il fine-tuning: insegnare a essere utile
Un modello alla fine del pre-training non è ancora ChatGPT. È un sistema enormemente capace di completare testo, ma non è progettato per essere un assistente utile. Se gli scrivi "spiegami come funziona una turbina eolica", potrebbe rispondere con una spiegazione, oppure continuare la tua frase aggiungendo "...in modo che possa capirlo mio nonno", oppure produrre output bizzarri, perché non c'è ancora niente che gli dica "questo è il tipo di risposta che vogliamo".
Per trasformarlo in un assistente, OpenAI (e gli altri) fanno una seconda fase, più piccola ma cruciale, che si chiama fine-tuning. In questa fase il modello viene esposto a un numero limitato di esempi (decine o centinaia di migliaia) in cui umani esperti gli mostrano: "a questa domanda, questa è la risposta giusta; a quest'altra, questa". Il modello impara a generare risposte nello stile e nel formato desiderati.
Dentro al fine-tuning c'è anche una tecnica specifica, l'RLHF (Reinforcement Learning from Human Feedback), che è particolarmente importante. Funziona così: per la stessa domanda, il modello genera diverse risposte alternative; degli umani le valutano dicendo quale è migliore; il modello impara a generare risposte simili a quelle preferite dagli umani. È così che ChatGPT è diventato "gentile", evita argomenti sensibili in certi modi, struttura le risposte con elenchi e introduzioni — sono comportamenti instillati attraverso il feedback umano in questa fase.
Una conseguenza interessante: ChatGPT non è "naturalmente" come lo conosciamo. È stato modellato per esserlo. Modelli diversi (Claude di Anthropic, Gemini di Google, Copilot di Microsoft) hanno fasi di fine-tuning diverse, ed è per questo che hanno "personalità" diverse anche partendo da architetture simili.
Perché ChatGPT "si inventa" le risposte
Adesso che abbiamo i pezzi base, possiamo affrontare una delle domande più frequenti e meno comprese: perché ChatGPT a volte inventa risposte? Perché cita libri che non esistono, articoli di legge inventati, citazioni mai pronunciate da nessuno?
La risposta è che ChatGPT non ha un meccanismo interno per distinguere tra "cose vere" e "cose plausibili che assomigliano a cose vere". Quando deve rispondere a una domanda, genera la sequenza di parole più probabile dato il contesto. Se la domanda è "chi era Garibaldi", la sequenza più probabile coincide con la realtà storica, perché su quel tema il modello ha visto migliaia di testi consistenti durante l'addestramento.
Ma se la domanda è "qual è l'articolo del codice civile che regola le servitù prediali nei condomini con più di 50 appartamenti", la situazione cambia. Forse il modello non ha visto testi specifici su quel tema, oppure ne ha visti pochi, magari contraddittori. In quel caso, genera comunque una risposta — perché è quello che è addestrato a fare — ma la risposta è plausibile (suona giuridica, ha la forma di una citazione legale corretta) senza essere necessariamente vera.
Questo fenomeno si chiama allucinazione, ed è una delle limitazioni fondamentali dei modelli linguistici attuali. Non è un bug che si può correggere con un aggiornamento: è una conseguenza diretta di come funzionano. Modelli più nuovi e più grandi allucinano meno rispetto a quelli vecchi, ma non smettono di allucinare. Per chi usa l'AI nel lavoro, questo significa che la verifica dei fatti specifici è una parte non negoziabile del processo — un tema che ho approfondito quando parlo di come molte aziende stanno usando male ChatGPT.
Perché lo stesso prompt può dare risposte diverse
Un'altra cosa che spesso sorprende: se scrivi la stessa identica domanda a ChatGPT due volte, ottieni due risposte leggermente diverse. Non è un errore, è progettato così. Quando il modello deve scegliere la prossima parola, non sceglie sempre quella più probabile in assoluto — c'è un parametro chiamato temperatura che introduce un po' di variabilità nella scelta.
Se la temperatura fosse zero, il modello sceglierebbe sempre la parola con la probabilità più alta, e darebbe sempre la stessa identica risposta. Ma le risposte risulterebbero "rigide", ripetitive, poco naturali. Con una temperatura leggermente più alta, il modello a volte sceglie la seconda parola più probabile, a volte la terza — e questo rende le risposte più naturali, più "umane", più creative. Il prezzo è che la stessa domanda può portare a risposte un po' diverse ogni volta.
È un dettaglio tecnico, ma spiega un comportamento che altrimenti sembra strano. E spiega anche perché, in contesti professionali dove serve riproducibilità (es. analisi di documenti standardizzati), conviene "essere espliciti" nei prompt — dare al modello istruzioni così precise che riducano lo spazio in cui la temperatura può variare.
Cosa ChatGPT non sa fare (e perché)
Capire come funziona ChatGPT aiuta anche a capire cosa non sa fare, o sa fare male. Ne elenco alcuni esempi.
Conteggi precisi. Se chiedi a ChatGPT di contare quante parole ci sono in un testo, di solito sbaglia. Il motivo è che il modello non "conta" come noi — ragiona per pattern statistici di token, non per operazioni matematiche esatte. Per i conteggi, è meglio chiedere al modello di scrivere uno script Python e farlo eseguire.
Aritmetica con numeri grandi. ChatGPT sa fare somme e moltiplicazioni semplici, ma su numeri grandi (es. 8473 × 2891) fa errori. Anche qui, non sta calcolando — sta predicendo la sequenza di cifre più probabile, e la probabilità non sempre corrisponde alla matematica esatta.
Informazioni recenti. Il modello è stato addestrato su dati fino a una certa data ("knowledge cutoff"). Eventi successivi a quella data non li conosce. Le versioni più recenti hanno strumenti integrati (ricerca web in tempo reale) che mitigano questa limitazione, ma è importante saperlo.
Riconoscere cosa sa e cosa non sa. Questo è il limite più sottile e importante. Il modello non ha un termometro interno della propria affidabilità. Su una domanda di cui sa la risposta esatta, e su una di cui non la sa, produce risposte con lo stesso livello di sicurezza apparente. Questo è esattamente il motivo per cui il giudizio umano resta indispensabile.
Cosa portarsi a casa
Se sei arrivato fin qui, hai adesso un modello mentale di base di come funziona ChatGPT, e questo ti rende un utente sostanzialmente più efficace. Riassumendo in punti pratici:
Sei interagendo con un sistema che predice la parola successiva, addestrato su una quantità enorme di testo e poi raffinato per essere utile come assistente. Tutto quello che fa è un'estensione di questo principio. Sa molto, ma non sa "in modo cosciente": riconosce pattern, e a volte i pattern lo portano fuori strada.
Questo modello mentale cambia il modo in cui usi lo strumento. Capisci perché il contesto migliora le risposte. Capisci perché le allucinazioni esistono e non scompariranno. Capisci perché la stessa domanda può dare risposte diverse. Capisci perché certi compiti (numeri, citazioni specifiche, fatti recenti) richiedono verifica obbligatoria.
Una considerazione finale. Quello che ti ho spiegato in questo articolo è il livello "uno" della comprensione di un LLM. È sufficiente per usare bene lo strumento, ma è solo l'inizio. Esistono livelli più profondi: come funzionano le architetture transformer, cosa fanno i meccanismi di attention, cosa cambia tra modelli di dimensioni diverse. Su questi temi torno spesso quando faccio formazione, soprattutto nel corso Machine Learning Intensivo, dove vediamo concretamente come si costruiscono e si addestrano i modelli — un livello di comprensione che, per chi usa l'AI quotidianamente in modo professionale, fa una differenza notevole.
FAQ — Domande frequenti su come funziona ChatGPT
ChatGPT "capisce" davvero quello che gli scrivo?
Dipende cosa intendiamo per "capire". In un senso operativo sì: riconosce l'intenzione, individua il contesto, produce risposte pertinenti. In un senso più profondo — quello che intendiamo quando diciamo che un amico ci "capisce" — no: non ha esperienza, non ha intenzioni, non ha consapevolezza di sé. È un sistema statistico molto sofisticato che, dall'esterno, somiglia tantissimo a un'entità che capisce.
I dati che inserisco in ChatGPT vengono usati per addestrarlo?
Dipende dalle versioni. Nelle versioni Free e Plus, di default sì (è possibile disattivare). Nelle versioni Team ed Enterprise, di default no. Questo è uno dei motivi pratici per cui l'uso aziendale di ChatGPT richiede una scelta consapevole del piano giusto.
Perché ChatGPT a volte mi contraddice se gli faccio la stessa domanda due volte?
Per il meccanismo della "temperatura" che abbiamo visto sopra: il modello introduce un po' di variabilità nelle sue scelte per rendere le risposte più naturali. In più, dato che ogni risposta è generata indipendentemente dalla precedente, non c'è memoria automatica tra una conversazione e l'altra (a meno che non lo dichiari esplicitamente).
ChatGPT può ragionare, o solo "completare frasi"?
Questa è una domanda che divide anche gli esperti. Tecnicamente, ChatGPT completa sequenze di token. Ma su problemi complessi, sembra esibire qualcosa che assomiglia molto al ragionamento — soprattutto se gli chiedi di "ragionare passo passo" (la cosiddetta chain-of-thought). Se sia "vero" ragionamento o un'imitazione molto sofisticata è oggetto di dibattito attivo nella ricerca. Quello che è chiaro è che, in pratica, su molti compiti funziona come se ragionasse.
Tutti gli LLM funzionano allo stesso modo?
Concettualmente sì: tutti i principali LLM (GPT, Claude, Gemini, Mistral) sono basati sullo stesso paradigma — predizione del token successivo, pre-training su grandi quantità di testo, fine-tuning per utilità. Le differenze sono nei dettagli: dimensioni del modello, qualità dei dati di training, scelte specifiche nel fine-tuning, capacità multimodali (immagini, audio). Queste differenze producono modelli con punti di forza diversi, ma la struttura di fondo è la stessa.
Vale la pena imparare come funziona un LLM, o basta saperlo usare?
Saperlo usare è il livello base, accessibile a chiunque dopo un po' di pratica. Sapere come funziona è quello che separa chi lo usa bene da chi lo usa benissimo. Non serve diventare ricercatori — basta avere il modello mentale che ho cercato di trasmettere in questo articolo. Da lì in poi, ogni volta che lo strumento si comporta in modo strano, hai gli strumenti per capire perché, e per usarlo meglio.