Human-in-the-loop: perché le migliori implementazioni di IA mantengono le persone nel processo

La fantasia dell'automazione totale

Gran parte del marketing sull'IA lascia intendere che l'obiettivo sia rimuovere del tutto gli umani. In pratica, le implementazioni di IA che funzionano meglio in contesti operativi fanno l'opposto. Mantengono gli umani nel ciclo per progettazione, usando il modello per gestire la maggioranza di routine e instradando i casi ambigui, ad alto rischio o a bassa affidabilità a una persona. Non è un fallimento nell'automatizzare pienamente. È l'aspetto di una buona automazione.

Perché le soglie di affidabilità battono l'automazione indiscriminata

Consideriamo l'elaborazione intelligente dei documenti. Un modello che estrae dati dai documenti sarà molto affidabile su input puliti e a modello, e molto meno affidabile su fax, annotazioni scritte a mano e formati non standard. Automatizzare tutto significa accettare le ipotesi a bassa affidabilità del modello proprio sui documenti in cui gli errori sono più probabili e più costosi.

Il design migliore elabora automaticamente solo al di sopra di una soglia di affidabilità, fissata in modo prudente con la dirigenza del rischio e allentata man mano che l'accuratezza misurata lo giustifica. Tutto ciò che è al di sotto della soglia viene instradato a un umano. Il risultato è un'elevata elaborazione diretta sui casi che la meritano, il giudizio umano sui casi che lo necessitano e una postura di rischio governata in ogni fase. Tassi di elaborazione diretta dell'ottanta percento e oltre sono raggiungibili in questo modo senza scommettere sul modello dove è più debole.

Il ciclo virtuoso

Il valore più profondo del mantenere gli umani nel ciclo è che le loro decisioni diventano dati di addestramento. Ogni caso che una persona risolve, con il suo contesto e il suo ragionamento, alimenta il successivo riaddestramento del modello. La coda delle eccezioni non è solo sollievo operativo. È un flusso continuo proprio degli esempi su cui il modello sta attualmente fallendo, che sono i dati di addestramento più preziosi che esistano. Nel corso di cicli successivi di riaddestramento il modello migliora proprio dove era più debole, e la quota umana del lavoro si riduce, senza aver mai scommesso sul modello oltre la sua competenza.

La moderazione dei contenuti mostra lo schema con chiarezza

La moderazione dei contenuti è l'illustrazione più chiara. Un classificatore pre-valuta e assegna priorità ai contenuti, ma agisce autonomamente solo entro una stretta fascia ad alta affidabilità. I moderatori umani gestiscono i contenuti ambigui, e le loro decisioni, con il contesto regionale e culturale, addestrano il classificatore successivo. Precisione e richiamo salgono attraverso i cicli di riaddestramento, i tempi di risposta calano perché il volume di routine è assorbito dall'automazione, e i giudizi più difficili restano alle persone che comprendono il contesto. Questo è l'human-in-the-loop che funziona come progettato.

Come strutturarlo

Quando implementate l'IA in un contesto operativo, resistete all'inquadramento che misura il successo in base a quanti pochi umani rimangono. Misuratelo in base all'accuratezza, al rischio governato e al fatto che il sistema migliori nel tempo. Fissate le soglie di affidabilità con la vostra funzione di rischio. Instradate i casi a bassa affidabilità a persone formate. Reimmettete le loro decisioni nel riaddestramento. Le migliori implementazioni di IA non sono prive di umani. Sono human-in-the-loop, e sono migliori per questo.