Ti sarà capitato: all'inizio di una lunga conversazione con un assistente AI fissi alcune regole ("rispondi sempre in modo sintetico", "il cliente si chiama Rossi, non Russo") e dopo un po' il modello sembra non tenerne più conto. Oppure apri una nuova chat e l'assistente non ricorda nulla di quanto vi eravate detti il giorno prima. Non è distrazione né cattiva volontà: dipende da come i modelli linguistici gestiscono le informazioni, e in particolare dalla finestra di contesto.
Che cos'è la finestra di contesto
Un modello linguistico non ha una memoria in senso umano. Ogni volta che genera una risposta, legge tutto il testo che gli viene fornito in quel momento: le istruzioni del sistema, i messaggi precedenti della conversazione, eventuali documenti allegati, e la tua ultima domanda. Questo insieme di testo è il contesto, e la quantità massima che il modello può considerare insieme si chiama finestra di contesto.
La finestra si misura in token, i frammenti di testo su cui lavorano i modelli. Le dimensioni variano molto da un modello all'altro: alcuni gestiscono poche migliaia di token, altri centinaia di migliaia. Una finestra ampia permette di analizzare documenti lunghi o conversazioni estese, ma non risolve tutti i problemi.
Perché le conversazioni lunghe perdono dettagli
Quando si supera il limite
Se la conversazione cresce oltre la finestra, qualcosa deve essere eliminato. Molti servizi tolgono i messaggi più vecchi o li sostituiscono con un riassunto. In entrambi i casi, dettagli dell'inizio possono andare persi.
Anche dentro il limite
Anche quando tutto il testo rientra nella finestra, il modello non presta la stessa attenzione a ogni parte. Le informazioni in un contesto molto lungo possono essere considerate in modo meno preciso, soprattutto se sono sepolte in mezzo a molto altro materiale. Inoltre, istruzioni date all'inizio possono essere "superate" da richieste successive che le contraddicono anche solo in parte.
L'effetto accumulo
Le conversazioni lunghe accumulano tentativi, correzioni, idee scartate. Il modello vede tutto e può confondere una versione abbandonata con quella definitiva.
Come funziona la "memoria" dei chatbot
Alcuni servizi offrono una funzione di memoria che permette all'assistente di ricordare informazioni tra una conversazione e l'altra. Tecnicamente il modello non cambia: è l'applicazione che salva alcune informazioni (le tue preferenze, il tuo lavoro, progetti in corso) e le reinserisce nel contesto delle conversazioni successive.
Questo ha due conseguenze pratiche:
- la memoria occupa a sua volta spazio nel contesto;
- ciò che viene memorizzato è una selezione, a volte imprecisa, di quanto hai detto. Conviene controllare periodicamente cosa è stato salvato, correggere gli errori e cancellare ciò che non vuoi venga ricordato.
| Tipo di "memoria" | Dove si trova | Durata |
|---|---|---|
| Contesto della conversazione | Nel testo inviato al modello | Fino alla fine della chat o al limite della finestra |
| Istruzioni personalizzate | Salvate dall'applicazione | Finché non le modifichi |
| Memoria tra conversazioni | Salvata dall'applicazione | Finché non la cancelli |
| Conoscenze del modello | Nei parametri | Fissate al momento dell'addestramento |
Come lavorare meglio con il contesto
- Una conversazione per argomento. Se cambi completamente tema, apri una nuova chat: eviti che informazioni non pertinenti confondano il modello.
- Riepiloga i punti fermi. In una conversazione lunga, ogni tanto scrivi un riassunto delle decisioni prese: "Ricapitolando: cliente Rossi, consegna il 15, tono formale".
- Ripeti le istruzioni importanti quando sono rilevanti, invece di confidare che il modello le ricordi dall'inizio.
- Fornisci solo il materiale utile. Allegare dieci documenti quando ne serve uno diluisce l'attenzione.
- Indica dove guardare. Con documenti lunghi, specifica la sezione: "rispondi in base al capitolo 3".
- Riparti da zero quando le cose si complicano. Se dopo molti scambi le risposte peggiorano, chiedi un riassunto della situazione e incollalo in una nuova conversazione.
- Usa le istruzioni personalizzate per le preferenze stabili, come lingua, tono o formato, invece di ripeterle in ogni chat.
Contesto e costi
Nei servizi a consumo, ogni messaggio comporta l'invio dell'intero contesto al modello. Una conversazione molto lunga costa quindi di più a ogni nuovo scambio, anche se l'ultima domanda è breve. È un motivo in più per tenere le conversazioni focalizzate.
Contesto e riservatezza
Tutto ciò che sta nel contesto, compresi documenti allegati e memoria salvata, viene inviato al fornitore a ogni richiesta. Se attivi la memoria tra conversazioni, informazioni condivise per un compito specifico potrebbero ricomparire in un contesto diverso. Valuta quindi con attenzione cosa lasciare memorizzare, soprattutto su account usati anche per lavoro.
In sintesi
- La finestra di contesto è tutto il testo che il modello considera quando risponde.
- Oltre il limite i messaggi vecchi vengono eliminati o riassunti; anche dentro il limite i dettagli possono sfuggire.
- La memoria dei chatbot è testo salvato dall'applicazione e reinserito nel contesto.
- Conversazioni focalizzate, riepiloghi periodici e materiale essenziale migliorano le risposte.
- Ciò che sta nel contesto viene inviato al fornitore: scegli con cura cosa far ricordare.
