O espanhol latino-americano não é uma única língua: o que isso significa para seus modelos de IA

O problema se esconde nas suas pontuações de benchmark

Um modelo treinado em castelhano e espanhol europeu muitas vezes pontua bem em um benchmark em espanhol e depois falha em produção por toda a América Latina. A falha é real, estrutural e fácil de não perceber, porque o benchmark e o tráfego de produção não vêm da mesma distribuição. Um modelo que lê o espanhol caribenho com setenta por cento de acurácia enquanto pontua noventa no castelhano não é um bom modelo de espanhol. É um bom modelo de castelhano.

Esse é um dos problemas mais consequentes e menos valorizados da IA em espanhol. O espanhol é falado por cerca de quinhentos milhões de pessoas em mais de vinte países, e a variação entre elas não é cosmética.

Onde a variação de fato reside

As diferenças que quebram os modelos raramente são as óbvias. Elas se agrupam em quatro áreas. Divergência de vocabulário em conceitos comuns, em que o mesmo objeto ou ação do cotidiano tem palavras diferentes entre países. Convenções de cortesia e franqueza, em que uma formulação que soa educada em um país soa distante ou brusca em outro. Uso de diminutivos, que carrega peso pragmático diferente de região para região. E code-switching, a mistura fluida de espanhol e inglês, comum em alguns mercados e rara em outros.

Um modelo que interpreta mal essas coisas não falha de forma ruidosa. Ele classifica erroneamente uma reclamação como uma consulta, interpreta mal o sentimento, ou aplica uma regra de moderação de forma inconsistente entre países. As falhas chegam diretamente aos usuários, e são difíceis de diagnosticar porque cada erro individual parece ruído em vez de um padrão.

Por que a tradução não resolve

A correção instintiva, traduzir dados de uma variante para outra por máquina, torna o problema mais difícil de enxergar em vez de mais fácil de resolver. A tradução produz um texto que é gramaticalmente regional e pragmaticamente estrangeiro: palavras corretas no registro cultural errado. As pontuações de benchmark melhoram porque a forma de superfície coincide. O desempenho em produção não melhora, porque o conteúdo pragmático continua errado.

Anotação nativa, por variante, em um só site

A correção é a anotação nativa de dados genuínos dentro da variante, por pessoas que falam a variante e entendem sua cultura. Isso é tanto um problema de sourcing quanto linguístico, porque exige falantes nativos de várias variantes trabalhando segundo um padrão comum, idealmente em um só local para que possam calibrar entre si.

A Colômbia está bem posicionada para isso. A reputação de Medellín como polo de tecnologia atraiu uma força de trabalho móvel e multinacional, de modo que falantes nativos de várias variantes do espanhol latino-americano podem ser reunidos e calibrados em uma única operação. A anotação captura características pragmáticas, franqueza, registro, urgência, intensidade de sentimento, e não apenas rótulos semânticos, porque são essas as características que variam e causam falha.

O teste prático

Se você está construindo IA em espanhol para a América Latina, meça o desempenho do seu modelo por variante, não em agregado. Se a dispersão entre sua melhor e sua pior variante for grande, a acurácia agregada está escondendo um problema que seus usuários já estão vivenciando. A anotação nativa, dentro da variante, é como essa dispersão se fecha, e fechá-la é muitas vezes a diferença entre um programa de automação que é lançado e um que fica adiado.