La trappola del contesto lungo: perché più dati non vuol dire più conoscenza

Periodicamente un fornitore di modelli annuncia la disponibilità di un contesto più ampio, un milione di token, poi due, con la promessa implicita che un'AI capace di leggere più testo in un colpo solo sia un'AI più intelligente. È una semplificazione comoda, che spesso si rivela sbagliata. In azienda, chi paga il conto non si chiede quanto un modello riesca a leggere, ma se risponde in modo corretto e a che prezzo. Sovrapporre queste due domande è la trappola del contesto lungo.

Il contesto è la memoria di lavoro del modello, tutto il testo che riesce a tenere davanti agli occhi mentre risponde a una singola domanda. Si può immaginare come una scrivania. Un contesto più ampio è una scrivania più grande, dove entrano più fogli contemporaneamente. Ma una scrivania più grande non rende più bravo chi ci lavora, e non garantisce che sopra ci siano i fogli giusti. La capienza del piano non garantisce la pertinenza e la rilevanza di ciò che vi appoggi, e il valore di una risposta dipende molto più da questi due ultimi aspetti.

L'ampiezza del contesto e l'accesso ai dati giusti vengono raccontati come la stessa cosa, mentre risolvono problemi diversi. Dare a un modello più memoria di lavoro non significa dargli le informazioni pertinenti, significa dargli più spazio, che deve essere riempito, e riempirlo indistintamente con tutto ciò che si ha sottomano è il modo più costoso e meno affidabile di ottimizzare il processo di risposta. Il problema vero, in un'azienda, non è quanto testo il modello può ingoiare, ma come fa a trovare, tra migliaia di documenti, i pochi che servono a rispondere a quella domanda.

È il compito del retrieval, il meccanismo dietro la sigla RAG (retrieval-augmented generation). Invece di rovesciare sulla scrivania l'intero archivio, un sistema di retrieval cerca prima i pochi passaggi davvero rilevanti all'interno dei dati aziendali, mettendo solo quelli davanti al modello e lasciando spazio al ragionamento. È l'assistente che, prima della riunione, ti posa sul tavolo le tre pagine che contano invece dell'intero faldone. Il modello lavora su meno testo, ma su testo migliore, e la differenza incide in primis la qualità della risposta e in secondo luogo il conto economico.

Che più contesto non equivalga a più accuratezza non è un'opinione. Una ricerca di Stanford, Berkeley e Samaya AI ormai molto nota, «Lost in the Middle», ha mostrato che i modelli ricordano bene ciò che sta all'inizio e alla fine di un testo lungo e tendono a perdere ciò che sta in mezzo, come una persona che sfoglia in fretta un documento di cento pagine. Uno studio più recente di Chroma, condotto su diciotto modelli di punta, ha misurato lo stesso fenomeno chiamandolo «context rot»: l'accuratezza degrada man mano che il contesto si amplia e può calare del 30-50% ben prima di raggiungere il limite dichiarato dal fornitore. In pratica, un modello che promette un milione di token non ragiona al medesimo livello su un milione di token.

Poi arriva il conto, che pesa doppio. Da un lato, si pagano i token, e riempire il contesto di materiale inutile gonfia la bolletta: in un confronto del 2026 rispondere alla stessa domanda costava oltre venti volte di più ottenuta con il solo contesto lungo rispetto a una pipeline di retrieval ben tarata (fonte «The Token Tax of Epistemic Accuracy»). Dall'altro lato, il costo che pesa davvero è quello della risposta sbagliata, e non compare in nessuna fattura del fornitore. Un riferimento normativo vecchio, un dato preso dal trimestre sbagliato, e una risposta plausibile ma errata possono alimentare una decisione. Da lì nascono la rilavorazione, il controllo umano che si voleva risparmiare, la scelta presa su una base falsa. In un contesto professionale una risposta convincente e scorretta costa molto più della mera differenza del consumo di token.

Questo non vuol dire che il contesto ampio sia inutile. Serve, e bene, quando la domanda riguarda un singolo documento lungo da tenere tutto insieme, o quando montare un sistema di retrieval è una soluzione sproporzionata rispetto al problema che si sta cercando di risolvere; inoltre, non occorre certo ricordare che i modelli sono in costante miglioramento. Il long-context in alcune circostanze si dimostra persino più accurato, ma in quei casi i costi schizzano in alto. Per l'impresa che deve mettere l'AI a lavorare sui propri dati la risposta di produzione del 2026 è ibrida. Il retrieval trova i pezzi giusti, il modello ragiona con lo spazio per farlo. Gartner stima che entro il 2028 l'80% delle applicazioni di AI generativa in azienda nascerà proprio sulle piattaforme dati esistenti. È la strada del retrieval, che Gartner raccomanda esplicitamente, non quella del modello lasciato a leggere tutto da solo.

La metrica giusta, allora, non è quanti milioni di token un modello dichiara di leggere, ma quanto costa ottenere da lui una risposta corretta, contando anche il prezzo degli errori che evita. È un cambio di sguardo che si traduce in domande diverse da porre a un fornitore: non «quanto è grande il contesto», ma «quanto è accurato sui nostri dati», «come sono recuperate le informazioni giuste», «quanto costa una risposta di cui mi posso fidare». È la differenza tra un'AI che accelera e ottimizza il lavoro e una che moltiplica, in silenzio, costi ed errori.