Lo spagnolo latinoamericano non è una sola lingua: cosa significa per i vostri modelli di IA

Il problema si nasconde nei punteggi dei vostri benchmark

Un modello addestrato su spagnolo castigliano ed europeo otterrà spesso un buon punteggio su un benchmark in lingua spagnola per poi fallire in produzione in tutta l'America Latina. Il fallimento è reale, strutturale e facile da non notare, perché il benchmark e il traffico di produzione non provengono dalla stessa distribuzione. Un modello che legge lo spagnolo caraibico con un'accuratezza del settanta percento mentre ottiene novanta sul castigliano non è un buon modello spagnolo. È un buon modello castigliano.

Questo è uno dei problemi più rilevanti e meno apprezzati dell'IA in lingua spagnola. Lo spagnolo è parlato da circa cinquecento milioni di persone in oltre venti paesi, e la variazione tra loro non è cosmetica.

Dove risiede davvero la variazione

Le differenze che mandano in tilt i modelli sono raramente quelle ovvie. Si concentrano in quattro aree. La divergenza di vocabolario su concetti ordinari, dove lo stesso oggetto o la stessa azione quotidiana ha parole diverse tra i paesi. Le convenzioni di cortesia e franchezza, dove una formulazione che risulta cortese in un paese risulta distante o brusca in un altro. L'uso dei diminutivi, che porta un diverso peso pragmatico da regione a regione. E il code-switching, la mescolanza fluida di spagnolo e inglese comune in alcuni mercati e rara in altri.

Un modello che legge male questi elementi non fallisce in modo eclatante. Classifica erroneamente un reclamo come una richiesta, legge male il sentiment o applica una regola di moderazione in modo incoerente tra i paesi. I fallimenti raggiungono gli utenti direttamente, e sono difficili da diagnosticare perché ogni singolo errore sembra rumore anziché uno schema.

Perché la traduzione non lo risolve

Il rimedio istintivo, tradurre automaticamente i dati da una variante a un'altra, rende il problema più difficile da vedere anziché più facile da risolvere. La traduzione produce testo che è grammaticalmente regionale e pragmaticamente estraneo: parole corrette nel registro culturale sbagliato. I punteggi dei benchmark migliorano perché la forma superficiale corrisponde. Le prestazioni in produzione no, perché il contenuto pragmatico è ancora sbagliato.

Annotazione nativa, per variante, su un unico sito

Il rimedio è l'annotazione nativa di dati genuini nella variante, da parte di persone che parlano la variante e ne comprendono la cultura. È un problema di reperimento tanto quanto linguistico, perché richiede parlanti nativi di più varianti che lavorano secondo uno standard comune, idealmente in un'unica sede in modo da potersi calibrare a vicenda.

La Colombia è nella posizione ideale per questo. La reputazione di Medellín come polo tecnologico ha attratto una forza lavoro mobile e multinazionale, così che parlanti nativi di più varianti dello spagnolo latinoamericano possono essere riuniti e calibrati in un'unica operazione. L'annotazione cattura le caratteristiche pragmatiche, franchezza, registro, urgenza, intensità del sentiment, non solo le etichette semantiche, perché quelle sono le caratteristiche che variano e causano il fallimento.

Il test pratico

Se state costruendo IA in lingua spagnola per l'America Latina, misurate le prestazioni del vostro modello per variante, non in aggregato. Se lo scarto tra la vostra variante migliore e la peggiore è ampio, l'accuratezza aggregata sta nascondendo un problema che i vostri utenti stanno già sperimentando. L'annotazione nativa, nella variante, è il modo in cui quello scarto si colma, e colmarlo è spesso la differenza tra un programma di automazione che viene lanciato e uno che resta rimandato.