Quando l’output è fluido, il rischio smette di essere percepito come tale. Un’analisi della falsa percezione di controllo nei sistemi generativi, raramente esplicitata nelle narrazioni che promuovono queste tecnologie.
Un bambino di nove anni che, in quindici minuti, crea un videogioco funzionante grazie all’intelligenza artificiale. Pubblicata su un noto sito italiano che si occupa di tecnologia e raccontata come una piccola epifania contemporanea, secondo uno schema ormai ricorrente, la storia sembra dimostrare che la creatività sia stata finalmente democratizzata, che le barriere tecniche siano crollate e che, da questo momento in poi, conti soltanto l’idea. O almeno così viene raccontata.
È una costruzione narrativa estremamente efficace. C’è un eroe improbabile, un sistema educativo implicitamente inadeguato e arretrato, e una tecnologia che interviene come fattore risolutivo. Tutto scorre senza attriti, senza esitazioni, senza zone d’ombra.
Eppure, se si asporta la coltre di sensazionalismo e retorica che sostiene il racconto, ciò che resta non è tanto una rivoluzione quanto una narrazione accuratamente selettiva, che tiene fuori proprio l’elemento che dovrebbe accompagnarla: la mediazione necessaria per arrivare a quel risultato. Non c’è traccia del prompting, degli errori, delle correzioni, né della fatica cognitiva richiesta per ottenere un output funzionante. Rimane soltanto il risultato finale, tirato a lucido e presentato come inevitabile. Il “wow”, isolato dal processo che lo ha generato.
Accettare questa storia senza filtri significa, di fatto, accettare una tesi: che l’uso dell’IA coincida con l’esercizio di una nuova forma di competenza. Tuttavia, basta spostarsi di poco, osservare il meccanismo invece del risultato, per accorgersi che la dinamica è meno lineare di quanto sembri e che, in molti casi, assomiglia molto più a una partita di blackjack che a un processo sotto controllo.
FATE IL VOSTRO GIOCO SIGNORI!
La metafora può apparire provocatoria, ma regge più di quanto dovrebbe. Nel blackjack è possibile migliorare la propria strategia, affinare le decisioni, persino contare le carte per ridurre il margine di “ignoto” o di aleatorietà; e tuttavia il banco mantiene sempre un vantaggio strutturale, non necessariamente evidente, ma costante.
Con l’IA accade qualcosa di analogo. Si possono migliorare i prompt, ottenere risultati più coerenti, riconoscere pattern ricorrenti e costruire una certa familiarità operativa. Tuttavia, questo progresso non conduce mai a una condizione di controllo pieno: si continua a interagire con un sistema probabilistico che restituisce risposte plausibili, ma non ancorate a vincoli di realtà. La sensazione di padronanza cresce, ma non è proporzionata, né realmente legata alla comprensione del processo che genera l’output.
È a questo punto che entra in gioco la difesa più sofisticata.
LA MOSSA ELEGANTE
La risposta più articolata a questa osservazione non consiste nel negarla, ma nel riformularla. L’argomento sollevato nel dibattito è che anche altri sistemi complessi operano in condizioni di incertezza: medicina, finanza, ingegneria. In nessuno di questi ambiti esiste una conoscenza assoluta, eppure si prendono decisioni, si costruiscono modelli, si agisce.
Questa obiezione è solida, proprio perché è fondata. Un medico non possiede certezze assolute, ma lavora su evidenze cliniche, protocolli e probabilità consolidate. Un operatore finanziario non controlla il mercato, ma utilizza strumenti di analisi e gestione del rischio. Un ingegnere non può prevedere ogni variabile, ma progetta sistemi con margini di sicurezza e ridondanze.
In tutti questi casi, la competenza non elimina l’incertezza, ma la rende operabile, integrandola in un sistema di vincoli, strumenti e responsabilità. Ed è esattamente su questo punto che l’analogia, pur rimanendo elegante, inizia a mostrare una crepa affatto marginale.
L’ATTRITO CHE TI SALVA E LA SUA SCOMPARSA
L’incertezza, nei contesti operativi consolidati, è accompagnata da attriti strutturali: anni di formazione, certificazioni, procedure, responsabilità legali, controlli incrociati etc. Questi elementi non rappresentano un ostacolo accidentale, ma una componente essenziale del sistema, perché costringono a rallentare e, soprattutto, a percepire ciò che è in gioco. Più che passaggi formali, sono parte di un processo cumulativo che costruisce nel tempo la capacità di riconoscere, interpretare e gestire l’errore che non scorre indisturbato: tende a emergere, viene intercettato, analizzato e corretto all’interno di un processo che lo rende visibile.
Con i modelli generativi, questo attrito è stato drasticamente ridotto, se non eliminato. La distanza tra domanda e risposta è minima, il flusso è continuo, l’esperienza è costruita per essere fluida e immediata. In questo contesto, il rischio non scompare, ma cambia natura: invece di emergere, perde visibilità e si integra nel flusso stesso dell’interazione.
È anche ciò che rende poco credibile una narrazione che spinge sulla superficialità nell’acquisizione di competenze che si formano proprio attraverso questo attrito, come se la plausibilità di una risposta generata dall’IA le rendesse secondarie, se non addirittura superflue.
NON È L’ERRORE. È COME PASSA PER BUONO
In contesti strutturati, un errore tende a manifestarsi come tale. Nei sistemi generativi, invece, può presentarsi con la stessa forma di una risposta corretta. Un errore probabilistico ben costruito non si distingue, sul piano formale, da un’informazione affidabile.
Non è un fenomeno isolato. Casi documentati in ambito medico, legale e tecnico mostrano come output formalmente corretti possano risultare, a verifica, privi di riscontro reale.
A questa difficoltà si aggiunge una narrativa dominante che non aiuta: definire questo errore come “allucinazione” significa antropomorfizzarlo, indebolendo ulteriormente la percezione reale. Si rischia così di dimenticare che si sta operando con un generatore di plausibilità statistica e non con un sistema senziente.
Non ci sono segnali evidenti di incertezza, né frizioni cognitive che inducano a fermarsi. L’output si presenta come fluido, coerente e convincente, indipendentemente dalla sua correttezza. È in questa continuità formale che si innesta il problema: l’utente non reagisce più a un errore visibile, ma finisce per interagire con una rappresentazione plausibile come se fosse affidabile.
In questo contesto, il punto critico non è tanto la probabilità di errore quanto la percezione del rischio, che tende a ridursi proprio nel momento in cui l’output appare più solido e verosomigliante.
IL BANCO NON DÀ INDICAZIONI
Nei sistemi complessi esistono strumenti per leggere il rischio: indicatori, metriche, protocolli. Non lo eliminano, ma lo rendono osservabile e, quindi, gestibile.
Nel caso dell’IA generativa, questo livello intermedio è assente. Non esiste un indicatore che permetta di valutare l’affidabilità di una risposta, né un sistema che segnali il grado di incertezza associato a ciò che viene prodotto. L’utente si trova quindi a operare senza un cruscotto informativo, basandosi esclusivamente sulla forma dell’output, in una dinamica che richiama il cosiddetto automation bias, cioè la tendenza ad affidarsi automaticamente al sistema.
Tutto ciò che può essere considerato verifica resta esterno, opzionale e interamente delegato al giudizio umano come ultima istanza di validazione.
La situazione è analoga a quella di una guida in condizioni di scarsa visibilità, ma senza strumenti per misurare velocità, distanza o traiettoria. Il rischio non è semplicemente presente: è percepito in modo distorto, o non percepito affatto.
PUNTARE È FACILE. CAPIRE LA MANO MOLTO MENO
A questo punto, la questione diventa operativa. La generazione di contenuti è immediata, mentre la verifica richiede tempo, competenze e attenzione. Questo divario produce una distorsione: si tende a generare molto più di quanto si riesca davvero a controllare.
Non perché gli utenti siano necessariamente superficiali, ma perché è la struttura stessa del sistema a produrre questo squilibrio. Il baricentro si sposta così inevitabilmente verso la produzione: ottenere una risposta è facile; capire se regge lo è molto meno.
Ed è proprio qui che la metafora del blackjack acquista precisione: non perché si tratti di un gioco puramente casuale — le probabilità sono definite — ma perché, mentre si gioca, non è mai davvero chiaro quanto una decisione abbia inciso sul risultato. Non si sa se si è vinto perché si è giocato bene o perché è andata bene. Il rapporto tra controllo e risultato rimane difficile da leggere, e le probabilità, pur esistendo, non sono accessibili nel momento in cui si decide.
Allo stesso modo, nell’interazione con un sistema generativo, l’utente può migliorare i prompt e ottenere risultati più coerenti, ma non ha strumenti per valutare in tempo reale quanto quell’output sia affidabile. È facile generare risposte, iterare rapidamente e ottenere risultati sempre più convincenti; molto più difficile è ricostruire su quali basi quegli output si reggano, quali assunzioni incorporino e quanto siano effettivamente corrette. In questo scarto, la qualità percepita dell’output finisce spesso per essere scambiata per affidabilità reale.
LA PRUDENZA NON È COMPRESA NELLA PUNTATA
Nei processi strutturati, la prudenza è integrata nel sistema: emerge dai vincoli, dai costi, dalle responsabilità e dalle procedure. Non è opzionale, ma una conseguenza inevitabile del contesto operativo.
Con l’IA, questo vincolo viene meno. La prudenza non è più incorporata nel sistema, ma deve essere introdotta intenzionalmente dall’utente.
Di conseguenza, la competenza non consiste tanto nel migliorare la capacità di generazione, quanto nel costruire attivamente meccanismi di controllo esterni: mantenere il dubbio, verificare sistematicamente, rallentare quando tutto sembra funzionare. Sono pratiche che richiedono uno sforzo consapevole e continuo, proprio perché vanno contro la natura stessa degli LLM, progettati per rimuovere ogni attrito e produrre output fluidi, coerenti e soprattutto convincenti.
IL BANCO NON BARA. SOLO CHE LE CARTE SONO COPERTE.
La reazione più onesta, a questo punto è, oltre a provare meraviglia e sgomento, riconoscere la natura del problema. Non si tratta di una tecnologia fuori controllo, né di un sistema intrinsecamente fallace, ma di un contesto in cui la percezione del rischio è sistematicamente distorta.
L’IA non è affatto magica: è un generatore di plausibilità statistica con un livello di fluidità senza precedenti. Le regole esistono, ma non sono progettate per essere immediatamente percepite da chi utilizza tali strumenti.
In questo scenario, diventa facile confondere la coerenza formale con l’affidabilità sostanziale e, di conseguenza, sopravvalutare il proprio grado di controllo.
È così che si finisce per operare con crescente sicurezza all’interno di un sistema che non si comprende pienamente, fino a rendersi conto che ciò che sembrava uno strumento era, in realtà, una partita.
E che, senza accorgersene, si stava già giocando.
