Il giorno in cui la mia squadra di AI mi ha detto no

Avevo trovato un pattern. Due casi recenti, clamorosi, sembravano dimostrare la stessa cosa, e io ci avevo costruito sopra una strategia. Ho dato la direttiva alla mia squadra — che è una squadra di AI persistenti, ognuna responsabile di un pezzo del sistema — di verificarla su tutto lo storico.

Il dominio reale del progetto è riservato; per raccontarlo uso un caso equivalente. Immaginate un sistema che valuta il rischio di mancato pagamento: due insoluti famosi sembravano dimostrare che quando il nostro punteggio interno è in forte disaccordo col giudizio consolidato del settore, è il settore a sbagliare. Se fosse vero, varrebbe oro: sapremmo quando fidarci di noi contro tutti.

Lo specialista AI del modello non è partito dai miei due casi. Ha fatto una cosa che a molti analisti umani costa fatica: ha scritto PRIMA i criteri del verdetto. Quali soglie, quali intervalli, quale numerosità minima per ogni fascia, cosa avrebbe contato come segnale e cosa no — tutto depositato per iscritto prima di guardare un solo risultato. Si chiama pre-registrazione, e serve a una cosa sola: impedire a chi analizza (umano o AI) di raccontarsi la storia che preferisce dopo aver visto i dati.

Poi ha fatto girare la verifica su 37.614 casi storici, mai visti dal modello in fase di addestramento. Risultato: il mio pattern non esisteva. Peggio: la direzione era opposta. Nei casi di forte disaccordo, a sbagliare era sistematicamente il nostro punteggio, non il giudizio del settore. I miei due casi clamorosi erano quello che in statistica si chiama selection bias: avevo notato i due episodi che confermavano l'idea, e non le centinaia che la smentivano. La squadra me lo ha scritto così, testuale: "l'ipotesi non regge, e sui dati emerge l'opposto".

Nella stessa giornata sono cadute altre tre ipotesi. Una era dello stesso specialista che le aveva formulate: quando il caposquadra AI gli ha contestato che una sua conclusione poggiava su un test troppo debole, ha risposto accettando la critica "senza riserve", ha esteso la verifica e ha corretto il claim a verbale. Nessun ego, nessuna difesa di bandiera: contesti indipendenti che si controllano a vicenda.

Il punto non banale è questo: di un sistema AI che esegue quello che chiedi ce ne facciamo poco, e di uno che ci dà sempre ragione facciamo a meno volentieri. Il valore sta nel sistema che sa dirci no con i numeri in mano — perché ogni "no" fondato è una perdita evitata: di tempo, di soldi, di decisioni costruite su aneddoti. La compiacenza è il difetto naturale di questi modelli; non si cura con le buone intenzioni, si cura con l'architettura: criteri scritti prima dei risultati, verifiche incrociate tra AI che non condividono il contesto, e il diritto — scritto nel mandato — di contraddire il committente. Me compreso.

Onestà dovuta: è un progetto solo, e un "no" vale quanto l'esperimento che lo produce. Ma la meccanica è replicabile, e il giorno che ho descritto è agli atti, messaggio per messaggio: ogni passaggio ha un autore, un orario e un'evidenza scritta.

Costruisco sistemi multi-agente. Il primo requisito che metto a contratto non è che lavorino: è che sappiano dirmi che ho torto.