Il mercato dei servizi di intelligenza artificiale è affollato: assistenti generici, strumenti verticali per avvocati, commercialisti o agenzie, piattaforme che promettono di automatizzare l'assistenza clienti. Le dimostrazioni sono quasi sempre convincenti, perché mostrano i casi in cui il prodotto funziona meglio. Per decidere con criterio serve un metodo che metta alla prova il servizio sui tuoi problemi, con i tuoi dati e alle tue condizioni.
1. Definisci cosa deve fare, in concreto
Prima di guardare qualsiasi prodotto, scrivi in poche righe il compito che deve svolgere e come capirai se lo svolge bene. Per esempio: "classificare le email in arrivo nelle sei categorie dell'ufficio, sbagliando meno di una volta su venti, e segnalare come incerte quelle ambigue". Senza un obiettivo misurabile, la valutazione diventa una questione di impressioni.
2. Prova su casi reali, non sulla demo
Prepara un insieme di prova di qualche decina di esempi presi dal tuo lavoro quotidiano, compresi:
- casi semplici e frequenti;
- casi difficili o ambigui;
- casi limite che oggi creano problemi anche alle persone;
- esempi in cui la risposta corretta è "non lo so" o "serve un umano".
Conosci già la risposta giusta per ciascuno, quindi puoi confrontare i risultati in modo oggettivo. Usa dati anonimizzati se il servizio non è ancora stato approvato per quelli reali. Ripeti la prova più volte: i modelli generativi possono dare risposte diverse alla stessa domanda.
Cosa osservare
- Accuratezza sulle risposte che conosci.
- Gestione dell'incertezza: il servizio ammette quando non sa, o inventa?
- Coerenza tra prove ripetute.
- Tempi di risposta in condizioni realistiche.
- Facilità di correzione: quanto lavoro serve per sistemare un risultato sbagliato?
3. Esamina il trattamento dei dati
Qui servono risposte scritte, non rassicurazioni verbali.
| Domanda | Risposta che vuoi trovare |
|---|---|
| I miei dati vengono usati per addestrare i modelli? | No, oppure solo con consenso esplicito e revocabile |
| Dove vengono elaborati e conservati? | Luoghi indicati chiaramente, con garanzie adeguate |
| Per quanto tempo vengono conservati? | Periodo definito e possibilità di cancellazione |
| Chi può accedervi presso il fornitore? | Accessi limitati e tracciati |
| Esiste un accordo sul trattamento dei dati? | Sì, conforme al GDPR |
| Ci sono subfornitori? | Elenco disponibile e aggiornato |
Se il servizio tratterà dati personali per conto della tua organizzazione, il fornitore agisce come responsabile del trattamento e serve un contratto che lo disciplini.
4. Valuta la sicurezza
- Il servizio supporta l'autenticazione a più fattori e, per le aziende, l'accesso tramite il sistema di identità aziendale?
- È possibile gestire i permessi per utente o gruppo?
- Esistono registri delle attività consultabili?
- Se il servizio si collega a posta, documenti o gestionali, quali autorizzazioni richiede? Sono proporzionate?
- Il fornitore spiega come protegge il sistema da usi impropri, per esempio istruzioni nascoste nei documenti elaborati?
5. Calcola il costo reale
Il prezzo di listino è solo una parte del costo. Considera:
- modello di prezzo: per utente, per consumo, per volume di documenti;
- costi variabili che possono crescere rapidamente con l'uso;
- tempo di configurazione e formazione;
- tempo di revisione dei risultati;
- eventuali integrazioni con i sistemi esistenti.
Confronta poi questo totale con il tempo effettivamente risparmiato nella prova, non con quello promesso.
6. Leggi le clausole che contano
Nel contratto o nelle condizioni d'uso, cerca in particolare:
- chi detiene i diritti sui contenuti generati;
- limitazioni di responsabilità del fornitore in caso di errori;
- livelli di servizio garantiti, come disponibilità e tempi di assistenza;
- preavviso in caso di modifiche sostanziali al servizio o al modello sottostante;
- condizioni di recesso.
7. Pianifica l'uscita
È la domanda che si dimentica più spesso: cosa succede se tra un anno vuoi cambiare fornitore? Verifica di poter esportare dati, configurazioni, cronologie e documenti in formati standard. Un servizio che rende difficile andarsene ti espone a dipendenza, aumenti di prezzo e interruzioni.
8. Considera gli obblighi normativi
Se il servizio verrà usato in ambiti sensibili, come la selezione del personale o la valutazione dell'affidabilità creditizia, l'AI Act può classificarlo come sistema ad alto rischio, con obblighi anche per chi lo usa. Chiedi al fornitore come si colloca rispetto al regolamento e quale documentazione mette a disposizione.
Un metodo di punteggio semplice
Per confrontare due o tre servizi, assegna a ciascuna area un voto da 1 a 5 e un peso in base alla tua priorità. Un servizio eccellente nella qualità ma insufficiente nel trattamento dei dati non dovrebbe vincere solo perché ha il punteggio totale più alto: alcuni requisiti, come la conformità al GDPR, sono condizioni minime, non elementi da compensare.
In sintesi
- Definisci un obiettivo misurabile prima di guardare i prodotti.
- Valuta il servizio su un insieme di casi reali di cui conosci la risposta.
- Pretendi risposte scritte su uso, luogo e conservazione dei dati.
- Calcola il costo reale includendo configurazione, formazione e revisione.
- Verifica in anticipo come esportare i dati e uscire dal servizio.
