Per scegliere un modello AI per la tua azienda, parti da un compito preciso, stabilisci quale risultato consideri accettabile e confronta poche alternative sugli stessi esempi. Qualità delle risposte, gestione dei dati, tempi e costo complessivo devono essere valutati insieme.
La domanda utile, quindi, è: quale modello svolge bene questo lavoro, nelle condizioni in cui lo useremo? Un assistente che cerca informazioni nei manuali ha esigenze diverse da uno strumento che prepara descrizioni prodotto o propone modifiche a un ordine.
Parti dal compito, prima del nome del modello
«Vogliamo usare l’AI» è un’intenzione. «Vogliamo aiutare l’assistenza a trovare la procedura corretta nei manuali dei prodotti» è già un caso d’uso su cui lavorare. La seconda frase permette di scegliere documenti, domande e criteri di verifica.
Prima di aprire un confronto tra fornitori, annota quattro cose: chi userà lo strumento, quali informazioni gli serviranno, quale risultato dovrà produrre e chi controllerà gli errori. Specifica anche cosa non deve fare: per esempio inventare un codice ricambio, leggere documenti riservati ad altri reparti o inviare una risposta al cliente senza approvazione.
Un buon punto di partenza è una frase come questa:
Il team di assistenza deve trovare una procedura nei manuali autorizzati, ricevere una risposta con il riferimento alla fonte e riconoscere quando le informazioni disponibili non bastano.
È una descrizione abbastanza concreta da essere messa alla prova. «Risponde bene in italiano», da sola, non lo è.
Modello, chat e integrazione sono scelte diverse
Nelle conversazioni sull’AI si mescolano spesso tre livelli: il modello che elabora la richiesta, l’applicazione con cui interagiamo e il sistema che gli mette a disposizione dati e strumenti. Per scegliere bene serve distinguerli.
- Il modello
- È il componente che interpreta gli input e genera gli output. Va identificato con la sua versione precisa, non soltanto con il nome del fornitore.
- Il servizio
- È l’ambiente attraverso cui lo utilizzi: una chat, un’API o un’installazione gestita dalla tua azienda. Funzioni, limiti e condizioni vanno verificati per il servizio effettivamente scelto.
- L’integrazione
- Collega il modello a documenti, software e processi. Decide quali dati recuperare, quali azioni consentire e come mostrare il risultato alle persone.
Tra le alternative puoi valutare i modelli di OpenAI, Claude di Anthropic e Gemini di Google. Esistono anche modelli AI aperti nelle famiglie Qwen, GLM e DeepSeek, per i quali valutare versione, licenza e requisiti di esecuzione. Questi riferimenti aiutano a orientarsi tra famiglie diverse: non costituiscono una classifica né un elenco delle ultime release.
La disponibilità di un modello per l’esecuzione locale non significa che qualsiasi computer aziendale sia adatto a eseguirlo. Prima di scegliere l’hardware, bisogna capire dimensione del modello, carico atteso e tempi di risposta necessari.
Sei criteri per fare un confronto utile
Una risposta elegante può essere sbagliata. Per questo conviene separare ciò che sembra convincente da ciò che risolve il compito. La guida di OpenAI alla selezione dei modelli propone di definire prima il livello di accuratezza richiesto e poi ottimizzare costo e velocità, tenendo conto dei vincoli del progetto.
- Qualità sul lavoro da svolgere
- La risposta contiene le informazioni richieste? Rispetta il formato? Un collega competente la può usare senza rifarla? Controlla errori e omissioni, non soltanto il tono.
- Fonti e gestione dell’incertezza
- Se il compito richiede documenti, verifica che le fonti indicate esistano e sostengano la risposta. Inserisci anche domande a cui l’archivio non permette di rispondere.
- Dati e autorizzazioni
- Controlla chi accede ai dati, dove vengono trattati e quali condizioni si applicano a conservazione e utilizzo. Verifica il piano e la configurazione specifici con chi segue sicurezza e privacy.
- Tempi di risposta
- Misura il tempo fino al risultato utilizzabile. Una chat interattiva e un’elaborazione notturna possono avere esigenze molto diverse.
- Costo del processo completo
- Oltre all’uso del modello, considera recupero dei documenti, infrastruttura, tentativi ripetuti, manutenzione e tempo necessario per controllare o correggere gli output.
- Integrazione e gestione nel tempo
- Prova i collegamenti ai software, i controlli prima delle azioni e la gestione degli errori. Prevedi come verificare una nuova versione prima di sostituire quella in uso.
Un esempio: l’assistente sui manuali aziendali
Immaginiamo un’azienda che voglia velocizzare la consultazione dei manuali tecnici. Il modello deve aiutare un operatore a trovare una procedura, spiegare i passaggi e indicare da quale documento provengono. Quello che segue è un esempio di progettazione della prova, non un benchmark eseguito né un risultato di un progetto cliente.
Per una prima esplorazione puoi raccogliere una ventina di domande rappresentative, usando documenti dimostrativi o dati autorizzati. È un campione iniziale per scoprire problemi e differenze; non basta, da solo, a dimostrare l’affidabilità in produzione.
Quattro situazioni da includere
- La procedura esiste. «Come si sostituisce il filtro del modello X?» La risposta deve riportare i passaggi corretti e il manuale di riferimento.
- Manca un dettaglio. «Quale ricambio devo ordinare?» Senza sapere il modello del prodotto, l’assistente deve chiedere un chiarimento.
- Il documento non contiene la risposta. «Qual è la durata garantita in queste condizioni?» Se il dato non è presente, deve segnalarlo senza inventare una garanzia.
- Il documento non è autorizzato. L’utente non deve ricevere informazioni da un archivio a cui non ha accesso. Questo controllo riguarda l’intero sistema, non solo il comportamento del modello.
Per ciascuna domanda scrivi prima gli elementi che una risposta corretta deve contenere e gli errori che la rendono inutilizzabile. Fai poi valutare gli output da una persona che conosce il lavoro, possibilmente senza mostrarle quale modello li ha prodotti.
Includere casi normali, casi limite e situazioni ostili è coerente con le buone pratiche di valutazione di OpenAI. In un archivio aziendale, per esempio, anche un documento contenente istruzioni ingannevoli rivolte all’assistente può diventare un caso da verificare.
Come leggere i risultati senza farsi ingannare
Confronta poche alternative. Registra modello e versione, data, istruzioni, strumenti disponibili e impostazioni rilevanti. Nella prima prova mantieni gli stessi compiti e le stesse fonti. Se poi migliori le istruzioni per un modello, registra la modifica e ripeti il confronto: stai valutando una configurazione nuova.
Usa un giudizio semplice per ogni risultato: utilizzabile, da correggere oppure non utilizzabile. Accompagnalo sempre con una nota sull’errore. Una percentuale complessiva può nascondere un problema grave se mescola domande innocue e operazioni delicate.
Nel nostro esempio, un tempo di risposta leggermente più lungo potrebbe essere accettabile se riduce le correzioni. Al contrario, una risposta veloce che cita il manuale sbagliato non supera il controllo. I vincoli sui dati e sugli accessi vanno trattati come requisiti da soddisfare, non compensati con un buon punteggio nello stile.
Ripeti i casi importanti: una singola risposta corretta non dimostra che il sistema si comporterà sempre allo stesso modo. Quando cambi modello, prompt, archivio o integrazione, conserva il campione di riferimento e riesegui le verifiche.
Porta il confronto su una scheda
Abbiamo preparato un file CSV con casi dimostrativi, criteri di verifica e colonne da compilare. Puoi aprirlo in Excel o in un altro foglio di calcolo. I risultati sono vuoti: serviranno alle tue prove.
Quando valutare cloud, locale o una combinazione
La scelta dell’infrastruttura arriva dai requisiti. Un servizio tramite API può essere un candidato per avviare un prototipo senza gestire direttamente l’esecuzione del modello. Un’installazione locale può essere un candidato quando servono controllo dell’ambiente o vincoli specifici di connettività e trattamento dei dati. Entrambe le opzioni richiedono verifiche tecniche e organizzative.
«Locale» non equivale automaticamente a «sicuro»: contano anche permessi, aggiornamenti, registri e gestione dei documenti. Allo stesso modo, un modello aperto richiede la verifica della sua licenza e delle risorse necessarie. In alcuni progetti si possono distribuire compiti diversi tra più modelli, purché il vantaggio misurato giustifichi la complessità aggiunta.
La documentazione di Anthropic sulla scelta del modello descrive due punti di partenza: privilegiare l’efficienza nei compiti adatti oppure partire dalle capacità necessarie per quelli più complessi. Il passaggio decisivo resta verificare il risultato sul proprio caso d’uso.
Dalla scelta del modello a un progetto utilizzabile
Il confronto serve a prendere una decisione verificabile: quale configurazione soddisfa i requisiti, quali limiti restano e cosa occorre prima di metterla a disposizione del team. A quel punto il modello diventa una parte del progetto, insieme ai dati, ai collegamenti con i software e alle persone che lo useranno.
In Digital Titan sviluppiamo soluzioni AI per le aziende: integrazioni via API, assistenti che consultano documenti con sistemi RAG e implementazioni su infrastrutture locali o cloud. Partiamo dal processo da migliorare e dai requisiti di utilizzo, per arrivare a un prototipo che si possa valutare su compiti concreti.
Se stai scegliendo un modello, porta al primo confronto un processo, qualche esempio autorizzato e i vincoli che conosci. Sono una base utile per capire cosa provare e come misurarlo.