Deep Tech

Mistral Forge. Small Model oltre la RAG

Connettere un LLM ai vostri documenti non lo rende il vostro modello. Lo rende un modello che legge i vostri documenti. È la differenza tra uno strumento in affitto e un'infrastruttura proprietaria.

Il Retrieval-Augmented Generation — RAG — è la risposta rapida che molti danno alla domanda "come porto l'AI sul mio contesto aziendale?". Funziona, è relativamente veloce da implementare e produce risultati. Ma questo approccio non cambia quello che il modello sa fare, non cambia la logica con cui ragiona, non cambia in quale lingua pensa davvero. Anche quando si tenta di ovviare a questi limiti con architetture RAG più sofisticate — retrieval iterativo, chain of thought e simili — il conto in token e la complessità operativa crescono in fretta.

Mistral Forge: riaddestrare, non recuperare

Mistral ha recentemente presentato Forge, una piattaforma che consente alle aziende di addestrare modelli su dati proprietari attraverso fine-tuning e continuous pretraining strutturato.

Non aggiungere uno strato di recupero documentale su un modello generalista, ma riaddestrare.

Mistral punta sul fatto che un modello così costruito non si limita a leggere i dati: li fa propri. Apprende la logica dei processi, il gergo tecnico, le regole di compliance, le eccezioni che nel settore sono la norma quotidiana. Non recupera le informazioni a chiamata da un database: le conosce già dal giorno uno.

Due fronti che in Europa conosciamo bene

Il primo è linguistico. I modelli più avanzati sono fondamentalmente anglofoni. RAG su documenti in italiano, francese, tedesco, olandese produce risultati sistematicamente peggiori di quanto i benchmark lascino sperare. Un modello riaddestrato nativamente sulla propria lingua e sul proprio dominio è un'altra categoria di strumento.

Il secondo riguarda la dimensione. Timothée Lacroix, CTO di Mistral, è stato chiaro: i modelli più piccoli non possono essere performanti quanto i loro equivalenti più grandi su tutti gli ambiti, ma proprio per questo la capacità di specializzarli diventa decisiva. Uno small model riaddestrato su un dominio specifico può battere un LLM generalista in quell'ambito specifico. Costa meno da far girare, è più controllabile, è più difendibile dal punto di vista della data governance.

Tra i primi clienti di Forge sono stati annunciati l'Agenzia Spaziale Europea, Ericsson, ASML e Reply. Un segnale che la tesi non è solo teorica.

Il punto non è abbandonare il RAG. Il punto è capire cosa può fare e quando conviene usarlo. Connettere un modello ai dati aziendali è un passo utile. Riaddestrare un modello sugli stessi dati è giocare un altro campionato.