Si tende a pensare che un algoritmo sia per definizione neutrale: in fondo è matematica, e la matematica non ha preferenze. Eppure i sistemi di intelligenza artificiale possono produrre risultati sistematicamente sfavorevoli per alcuni gruppi di persone. Questo fenomeno si chiama bias algoritmico. Non nasce quasi mai da un'intenzione esplicita, ma da scelte e dati che portano con sé distorsioni del mondo reale.
Che cos'è un bias
In statistica, un bias è un errore sistematico: una tendenza a sbagliare sempre nella stessa direzione. Nel contesto dell'AI il termine indica soprattutto i casi in cui un sistema tratta in modo diverso, senza una giustificazione valida, persone che differiscono per caratteristiche come genere, età, origine, disabilità o zona di residenza.
Il punto chiave è che un modello impara a riprodurre gli schemi presenti nei dati. Se quegli schemi riflettono disuguaglianze passate, il modello le apprende e le applica su larga scala.
Da dove nasce
Dati storici distorti
Immagina un sistema che aiuta a selezionare candidati, addestrato sulle assunzioni degli ultimi anni di un'azienda. Se in passato per certi ruoli sono state assunte quasi solo persone di un certo profilo, il modello imparerà che quel profilo è "il candidato ideale", anche se la ragione era un pregiudizio e non la competenza.
Dati poco rappresentativi
Un sistema di riconoscimento vocale addestrato soprattutto su voci adulte capirà peggio bambini e anziani. Un modello per analizzare immagini della pelle, addestrato su un insieme limitato di carnagioni, può essere meno accurato sulle altre.
Variabili sostitutive
Anche escludendo una caratteristica sensibile, il modello può ricostruirla da altre informazioni correlate. Il codice postale, per esempio, può riflettere indirettamente origine o condizione economica. Eliminare la colonna "nazionalità" non basta a garantire l'equità.
Scelte di progettazione
Che cosa si decide di prevedere conta. Se per stimare il bisogno di assistenza si usa la spesa sostenuta in passato, si rischia di sottovalutare chi ha avuto meno accesso ai servizi, non chi ne ha avuto meno bisogno.
Il ciclo di retroazione
Le decisioni del modello influenzano i dati futuri. Se un sistema concentra i controlli su una certa area, lì emergeranno più irregolarità, che rafforzeranno la convinzione che quell'area sia più problematica.
Bias nei modelli linguistici
Anche i modelli che generano testo possono riflettere stereotipi presenti nei testi da cui hanno imparato. Un esempio semplice: chiedendo di scrivere una storia su "un medico e un infermiere", il modello potrebbe assegnare i generi in modo stereotipato. I fornitori applicano tecniche per mitigare questi effetti, ma è utile esserne consapevoli quando si usano questi strumenti per testi destinati al pubblico.
Come si misura
Non esiste una sola definizione di equità, e alcune sono in conflitto tra loro. Le più usate confrontano il comportamento del modello tra gruppi diversi.
| Criterio | Domanda che si pone |
|---|---|
| Parità di esito | I diversi gruppi ricevono esiti positivi in proporzioni simili? |
| Parità di errore | Il modello sbaglia con la stessa frequenza nei diversi gruppi? |
| Calibrazione | Un punteggio di rischio significa la stessa cosa per tutti i gruppi? |
Scegliere quale criterio privilegiare non è una decisione tecnica soltanto: dipende dal contesto e dalle conseguenze degli errori, e va discussa con chi conosce il dominio e con le persone interessate.
Come ridurlo nella pratica
- Esaminare i dati prima dell'addestramento. Verificare come sono distribuiti i diversi gruppi e se alcuni sono assenti o sottorappresentati.
- Valutare il modello per sottogruppi. Un'accuratezza complessiva del 95% può nascondere un 80% su un gruppo specifico.
- Ripensare l'obiettivo. Chiedersi se la variabile da prevedere misura davvero ciò che interessa.
- Coinvolgere persone diverse nella progettazione e nei test: chi ha esperienze differenti nota problemi che altri non vedono.
- Mantenere il controllo umano nelle decisioni che incidono su persone, con la possibilità di contestare l'esito.
- Monitorare dopo il rilascio. I bias possono emergere solo con l'uso reale.
- Documentare scelte, limiti noti e risultati delle verifiche.
Il quadro normativo
Nell'Unione europea il tema è affrontato da più norme. Il GDPR, all'articolo 22, riconosce il diritto di non essere sottoposti a decisioni basate unicamente su un trattamento automatizzato che producano effetti giuridici o incidano significativamente sulla persona, salvo eccezioni e con garanzie. L'AI Act, per i sistemi ad alto rischio, impone requisiti sulla qualità dei dati e sulla sorveglianza umana proprio per limitare questi effetti.
In sintesi
- Il bias algoritmico è un errore sistematico che penalizza alcuni gruppi senza giustificazione.
- Nasce da dati storici distorti, dati non rappresentativi, variabili sostitutive e scelte di progetto.
- Esistono più criteri di equità, da scegliere in base al contesto.
- Analisi per sottogruppi, controllo umano e monitoraggio continuo sono le difese principali.
- GDPR e AI Act prevedono tutele specifiche per le decisioni automatizzate.
