Quando si pensa a un assistente di intelligenza artificiale, di solito si immagina un servizio online: si apre il browser, si scrive, la risposta arriva da un data center lontano. Esiste però un'alternativa sempre più praticabile: far funzionare un modello direttamente sul proprio computer o su un server aziendale. Le due strade hanno vantaggi e limiti molto diversi, e la scelta dipende da cosa devi fare e con quali dati.
Cosa significa "AI locale"
Un modello linguistico è, in sostanza, un grande file che contiene i suoi parametri, più un programma che lo esegue. Alcuni sviluppatori rendono pubblici i parametri dei propri modelli: si parla di modelli a pesi aperti (open weight). Chiunque può scaricarli ed eseguirli sul proprio hardware, nel rispetto della licenza che li accompagna, che va sempre letta perché può porre limiti all'uso commerciale.
Esistono programmi che rendono l'operazione relativamente semplice: si installa l'applicazione, si sceglie un modello, si attende il download e si inizia a usarlo, anche senza connessione a internet.
I vantaggi dell'AI locale
- Riservatezza. I dati non lasciano il dispositivo. Per documenti delicati, come fascicoli professionali o informazioni sanitarie, è un vantaggio decisivo.
- Funzionamento offline. Utile in luoghi con connessione scarsa o in ambienti isolati per ragioni di sicurezza.
- Costi prevedibili. Dopo l'investimento nell'hardware non ci sono costi per utilizzo.
- Controllo. Il modello non cambia senza preavviso: la versione che hai testato resta quella che usi.
- Personalizzazione. È possibile affinare il modello o integrarlo liberamente nei propri sistemi.
I limiti dell'AI locale
- Capacità inferiori. I modelli eseguibili su un computer normale sono più piccoli di quelli offerti dai principali servizi cloud e, in genere, meno capaci nei compiti complessi.
- Requisiti hardware. Serve molta memoria, idealmente su una scheda grafica adatta.
- Velocità. Su hardware modesto le risposte possono arrivare lentamente.
- Manutenzione. Aggiornamenti, sicurezza e configurazione sono a tuo carico.
- Funzioni accessorie. Ricerca web, analisi di immagini o integrazioni pronte richiedono lavoro aggiuntivo.
Quanta memoria serve: la quantizzazione
La quantità di memoria necessaria dipende soprattutto dal numero di parametri del modello e dalla precisione con cui ciascuno è memorizzato. In origine ogni parametro occupa 16 bit, cioè 2 byte: un modello da 7 miliardi di parametri richiederebbe circa 14 GB solo per i pesi.
La quantizzazione riduce la precisione dei parametri, per esempio a 8 o 4 bit, diminuendo molto la memoria occupata con una perdita di qualità spesso contenuta. Lo stesso modello da 7 miliardi di parametri, quantizzato a 4 bit, scende a circa 4 GB per i pesi, a cui si aggiunge memoria per il contesto della conversazione.
| Dimensione del modello | Pesi a 16 bit (circa) | Pesi a 4 bit (circa) | Hardware indicativo |
|---|---|---|---|
| 3 miliardi di parametri | 6 GB | 2 GB | Portatile recente |
| 7-8 miliardi | 14-16 GB | 4-5 GB | Computer con buona GPU o molta RAM |
| 30 miliardi circa | 60 GB | 16-18 GB | Workstation dedicata |
| 70 miliardi circa | 140 GB | 35-40 GB | Server o più GPU |
Sono stime approssimative, utili per orientarsi: i valori reali variano in base al formato e al programma usato.
I vantaggi del cloud
- Modelli più potenti, aggiornati dal fornitore.
- Nessun hardware da acquistare né da mantenere.
- Funzioni integrate: ricerca, analisi di file, generazione di immagini, collaborazione.
- Scalabilità: puoi passare da un utente a cento senza cambiare infrastruttura.
I limiti del cloud
- I dati escono dal tuo perimetro. Bisogna valutare contratti, luoghi di trattamento e politiche di conservazione.
- Dipendenza dal fornitore: prezzi, condizioni e modelli possono cambiare.
- Costi variabili che crescono con l'uso.
- Necessità di connessione.
Come scegliere
Alcune domande aiutano a decidere.
- Quanto sono sensibili i dati? Se non possono lasciare l'organizzazione, l'esecuzione locale o su server propri diventa quasi obbligata.
- Quanto è complesso il compito? Classificare email o riassumere documenti brevi è alla portata di modelli piccoli; ragionamenti lunghi e articolati traggono vantaggio da modelli più grandi.
- Quanti utenti e con che volume? Per pochi utenti occasionali il cloud è più economico; per carichi elevati e costanti l'hardware proprio può ripagarsi.
- Chi gestirà il sistema? Senza competenze interne, una soluzione locale rischia di restare non aggiornata e poco sicura.
La via di mezzo
Molte organizzazioni adottano un approccio ibrido: un modello locale per i compiti che coinvolgono dati riservati e un servizio cloud, con contratto adeguato, per i compiti generali. Un'altra soluzione è il cloud privato, in cui il modello gira su infrastruttura dedicata con garanzie contrattuali più forti.
Sicurezza anche in locale
"Locale" non significa automaticamente "sicuro". Scarica i modelli solo da fonti affidabili, aggiorna i programmi che li eseguono, limita l'accesso al servizio se è raggiungibile in rete e proteggi le conversazioni salvate come qualsiasi altro dato sensibile.
In sintesi
- L'AI locale offre riservatezza, controllo e funzionamento offline, con modelli meno potenti.
- Il cloud offre modelli più capaci e funzioni pronte, ma i dati escono dal tuo perimetro.
- La quantizzazione riduce molto la memoria necessaria per eseguire un modello in locale.
- La scelta dipende da sensibilità dei dati, complessità dei compiti, volumi e competenze.
- Un approccio ibrido combina spesso i vantaggi delle due soluzioni.
