Entrega de IA
Moderação de conteúdo em espanhol e treinamento de classificador para uma plataforma latino-americana
De relance
- Setor
- Mídia e plataformas digitais
- Geografia do cliente
- América Latina, plataforma social e de conteúdo regional
- Tamanho do cliente
- Grande empresa, base de usuários multipaís
- Linha de serviço
- Entrega de IA, moderação de conteúdo, treinamento de classificador, triagem aumentada por IA
- Idioma principal
- Espanhol em variantes latino-americanas, com português
- Sede de entrega
- Cali
- Duração do compromisso
- 13 meses, em andamento
- Tamanho da equipe
- 66 moderadores, 8 especialistas de treinamento de IA, 5 líderes de trust and safety, 2 conselheiros de bem-estar
Perfil do cliente
O cliente opera uma plataforma social e de conteúdo gerado por usuários, com uma base de usuários substancial na Colômbia, México, Argentina, Chile, Peru e América Central, ao lado de um segmento de português brasileiro. O volume de conteúdo é alto e predominantemente em espanhol, com forte variação regional em gírias, humor e referência cultural.
O desafio
A moderação automatizada da plataforma tinha desempenho fraco no espanhol latino-americano. O classificador de toxicidade, treinado majoritariamente em dados de inglês e castelhano, alcançava 72,0% de precisão e 61,4% de revocação em conteúdo latino-americano. Baixa revocação significava que conteúdo nocivo persistia; baixa precisão significava que conteúdo inofensivo era removido, gerando reclamações e acusações de censura arbitrária. A falha se concentrava justamente no conteúdo que mais importa. Gírias regionais, linguagem codificada e insultos dependentes de contexto eram sistematicamente ignorados, enquanto vocabulário inofensivo em um país e ofensivo em outro era tratado de forma inconsistente. O tempo de resposta agravava o dano, com a mediana do tempo entre a denúncia e a ação em 45 minutos, ultrapassando quatro horas durante picos. O bem-estar dos moderadores havia se tornado uma crise de retenção, com rotatividade anualizada acima de 70% sob o arranjo anterior, produzindo uma força de trabalho permanentemente inexperiente e uma qualidade de decisão degradada.
Por que a Corpshore Colombia
A Corpshore Colombia propôs Cali por sua mistura demográfica latino-americana e seu mercado de trabalho de serviços em crescimento, e propôs um modelo de moderação construído em torno do roteamento regional de decisões em vez de uma equipe uniforme.
O arcabouço de bem-estar foi decisivo. A abordagem documentada da Corpshore, rodízio obrigatório para fora das filas de alta intensidade, descompressão programada, aconselhamento presencial e apoio entre pares, foi avaliada como materialmente mais desenvolvida do que as propostas concorrentes, e o cliente havia concluído que seu problema de rotatividade era a causa raiz de seu problema de qualidade. A Corpshore também propôs combinar a moderação humana com o treinamento do classificador em um único projeto.
O compromisso
Sessenta e seis moderadores em Cali, oriundos de diversas nacionalidades latino-americanas, oito especialistas de treinamento de IA na melhoria do classificador, cinco líderes de trust and safety e dois conselheiros de bem-estar no local. A cobertura é de 24 horas em turnos rotativos. Todos os moderadores concluem um onboarding de seis semanas cobrindo política, contexto regional, arcabouços de decisão, escalonamento e prática de bem-estar antes de lidar com conteúdo ao vivo, com treinamento e limites de rodízio separados para as categorias mais difíceis.
Abordagem e metodologia
Roteamento regional de decisões. O conteúdo é roteado para um moderador familiarizado com o idioma e o contexto cultural da região de origem em vez de uma fila genérica de espanhol, resolvendo a inconsistência que uma equipe uniforme não consegue resolver.
Decisões dos moderadores como dados de treinamento. Cada decisão, com seu contexto regional e seu código de raciocínio, alimenta o conjunto de treinamento do classificador. Seis ciclos de retreinamento foram concluídos, cada um incorporando as decisões humanas do ciclo anterior.
Triagem aumentada por IA, não substituição. O classificador pré-pontua e prioriza em vez de agir de forma autônoma acima de uma faixa estreita de alta confiança, mantendo o discernimento humano no conteúdo ambíguo enquanto remove o volume rotineiro, o que produziu a melhora do tempo de resposta sem custo de precisão.
Bem-estar como requisito operacional. Limites de rodízio, descompressão, aconselhamento presencial e apoio entre pares são programados e aplicados. A rotatividade nesta conta é de 21% anualizada contra os 70% anteriores do cliente, e o cliente atribui a melhora da qualidade de decisão principalmente ao tempo de casa.
Precisão e revocação do classificador em espanhol
Resultados
A precisão do classificador subiu de 72,0% para 94,0% e a revocação de 61,4% para 93,1% ao longo de seis ciclos de retreinamento. A melhora de precisão reduziu as remoções indevidas, a fonte da crítica pública à plataforma. A mediana do tempo entre a denúncia e a ação caiu de 45 minutos para 4 minutos, sustentada durante os picos porque a triagem por IA absorve o volume rotineiro que antes ficava na fila atrás dos casos ambíguos. A rotatividade de moderadores caiu de mais de 70% para 21%, e a acurácia de decisão contra a revisão dos líderes de trust and safety subiu de 79% para 96%.
Valor duradouro
O corpus de treinamento anotado regionalmente e a taxonomia de códigos de raciocínio são de propriedade do cliente e darão suporte ao desenvolvimento do classificador de forma independente de qualquer fornecedor. O arcabouço de bem-estar foi adotado como um padrão da Corpshore Colombia para contas que lidam com conteúdo perturbador. O projeto se estendeu para a moderação em português brasileiro e para o red-teaming das funcionalidades de conteúdo generativo do cliente.
Indicadores-chave
| Métrica | Ponto de partida | Mês 12 | Variação |
|---|---|---|---|
| Precisão do classificador | 72.0% | 94.0% | +22.0 pts |
| Revocação do classificador | 61.4% | 93.1% | +31.7 pts |
| Mediana do tempo até a ação de moderação | 45 min | 4 min | -91% |
| Acurácia de decisão do moderador | 79% | 96% | +17 pts |
| Rotatividade de moderadores, anualizada | > 70% | 21% | -70% |
| Recursos de remoção indevida acatados | 18% | 3% | -83% |
| Conteúdo revisado por dia | n/a | n/a | +235% |
Quando uma métrica revelou apenas uma variação, os números absolutos são mostrados com um traço. Os números são reportados pelo cliente ou medidos de forma conjunta.
Havíamos tratado a rotatividade como um problema de RH e a qualidade como um problema de treinamento. Eram o mesmo problema. Assim que os moderadores passavam de um ano, a qualidade de decisão se resolvia sozinha.
Temas relacionados