Scrivi "un faro su una scogliera al tramonto, stile acquerello" e dopo pochi secondi ottieni un'immagine che non esisteva. Dietro i generatori di immagini più diffusi c'è quasi sempre una famiglia di tecniche chiamata modelli di diffusione. Il principio è controintuitivo ma elegante: il modello impara a creare immagini imparando prima a ripulirle dal rumore.
L'idea centrale: partire dal rumore
Immagina di prendere una fotografia e di aggiungervi un po' di "neve" digitale, come sui vecchi televisori. Poi ancora un po', e ancora, finché dell'immagine originale non resta nulla: solo puntini casuali. Questo è il processo di diffusione in avanti, ed è semplice da eseguire perché non richiede alcuna intelligenza.
La parte interessante è il percorso inverso. Durante l'addestramento si mostra a una rete neurale un'immagine con una certa quantità di rumore e le si chiede: quale parte di questo è rumore? Ripetendo l'esercizio su milioni di immagini e a tutti i livelli di disturbo, la rete diventa molto brava a stimare il rumore da togliere.
Una volta addestrata, la si può usare per generare: si parte da rumore puro e si chiede alla rete di togliere un po' di disturbo, poi ancora, per decine di passaggi. A poco a poco emergono forme, colori, dettagli. Il risultato è un'immagine nuova, coerente con ciò che la rete ha imparato sulle immagini in generale.
Come entra in gioco il testo
Se il processo partisse solo dal rumore, otterresti un'immagine plausibile ma casuale. Per controllarla serve un collegamento tra parole e contenuti visivi.
- Codifica del testo. La descrizione che scrivi viene trasformata in una rappresentazione numerica da un modello addestrato ad associare testi e immagini.
- Condizionamento. A ogni passaggio di rimozione del rumore, la rete riceve anche questa rappresentazione e la usa per orientare il risultato: se il testo parla di un faro, i dettagli che emergono tenderanno a formare un faro.
- Guida. Un parametro, spesso chiamato guidance scale, regola quanto l'immagine deve aderire al testo. Valori alti seguono la descrizione in modo più rigido, a volte a scapito della naturalezza; valori bassi lasciano più libertà.
Lo spazio latente: perché è così veloce
Lavorare direttamente su milioni di pixel sarebbe molto pesante. Molti sistemi usano perciò un trucco: prima comprimono le immagini in una rappresentazione più compatta, chiamata spazio latente, tramite un componente detto autoencoder. Il processo di diffusione avviene in questo spazio ridotto e, solo alla fine, il risultato viene "decompresso" in un'immagine a piena risoluzione. Questo approccio è noto come latent diffusion ed è il motivo per cui alcuni modelli possono funzionare anche su un computer domestico con una buona scheda grafica.
I parametri che puoi controllare
| Parametro | Cosa fa | Effetto pratico |
|---|---|---|
| Prompt | Descrive il contenuto | Soggetto, stile, luce, composizione |
| Prompt negativo | Indica cosa evitare | Riduce elementi indesiderati |
| Numero di passaggi | Quante volte si toglie rumore | Più passaggi, più dettaglio fino a un certo punto |
| Guidance | Aderenza al testo | Più rigida o più libera |
| Seed | Punto di partenza del rumore | Stesso seed e stesse impostazioni danno immagini simili |
| Risoluzione | Dimensioni dell'immagine | Formati molto diversi dall'addestramento possono creare difetti |
Il seed merita una nota: poiché tutto parte da rumore casuale, fissare il numero che genera quel rumore permette di riprodurre un risultato e modificare un solo elemento alla volta, per esempio cambiando una parola del prompt.
Funzioni derivate
Lo stesso meccanismo permette di fare molto più che generare da zero:
- da immagine a immagine: si parte da un'immagine esistente con un po' di rumore aggiunto, invece che da rumore puro, per ottenerne una variazione;
- inpainting: si rigenera solo una zona selezionata, per esempio per eliminare un oggetto da una foto di prodotto;
- outpainting: si estende l'immagine oltre i suoi bordi originali;
- aumento di risoluzione: si aggiungono dettagli plausibili a un'immagine piccola.
Perché sbagliano mani e scritte
Per molto tempo i generatori hanno avuto difficoltà con mani, testo all'interno delle immagini e numero esatto di oggetti. La ragione è che il modello impara regolarità statistiche visive, non regole: sa che le mani hanno dita, ma non "conta" fino a cinque; sa che le insegne contengono lettere, ma non sempre compone parole corrette. I modelli più recenti hanno migliorato molto questi aspetti grazie a dati migliori e a codificatori del testo più potenti, ma i dettagli strutturati restano un punto debole tipico.
Questioni da tenere presenti
I modelli di diffusione imparano da grandi raccolte di immagini, e il rapporto tra addestramento e diritti d'autore è oggetto di discussione. Nell'uso professionale conviene leggere le condizioni del servizio sui diritti di utilizzo delle immagini generate, evitare di imitare deliberatamente lo stile riconoscibile di artisti viventi ed essere trasparenti quando un'immagine è generata, come prevede anche l'AI Act per i contenuti sintetici.
In sintesi
- I modelli di diffusione generano immagini togliendo progressivamente rumore a partire da rumore puro.
- Il testo guida il processo tramite una sua rappresentazione numerica a ogni passaggio.
- Lo spazio latente rende il processo più leggero e veloce.
- Prompt, passaggi, guidance e seed sono i parametri chiave per controllare il risultato.
- Mani, scritte e conteggi restano dettagli in cui gli errori sono più frequenti.
