Entrega de IA
Moderación de contenido en español y entrenamiento de clasificadores para una plataforma latinoamericana
De un vistazo
- Sector
- Medios y plataformas digitales
- Geografía del cliente
- América Latina, plataforma regional social y de contenido
- Tamaño del cliente
- Empresa, base de usuarios multipaís
- Línea de servicio
- Entrega de IA, moderación de contenido, entrenamiento de clasificadores, triaje aumentado por IA
- Idioma principal
- Español en variantes latinoamericanas, con portugués
- Sede de entrega
- Cali
- Duración del compromiso
- 13 meses, en curso
- Tamaño del equipo
- 66 moderadores, 8 especialistas en entrenamiento de IA, 5 líderes de confianza y seguridad, 2 consejeros de bienestar
Perfil del cliente
El cliente opera una plataforma social y de contenido generado por usuarios con una base de usuarios sustancial en Colombia, México, Argentina, Chile, Perú y Centroamérica, junto con un segmento de portugués brasileño. El volumen de contenido es alto y predominantemente en español, con fuerte variación regional en jerga, humor y referencia cultural.
El reto
La moderación automatizada de la plataforma tenía un desempeño deficiente en español latinoamericano. El clasificador de toxicidad, entrenado en gran parte con datos en inglés y castellano, alcanzaba 72.0% de precisión y 61.4% de exhaustividad en contenido latinoamericano. La baja exhaustividad significaba que el contenido dañino persistía; la baja precisión significaba que el contenido benigno era removido, generando quejas y acusaciones de censura arbitraria. La falla se concentraba justo en el contenido que más importa. La jerga regional, el lenguaje codificado y los insultos dependientes del contexto se omitían de forma sistemática, mientras que el vocabulario benigno en un país y ofensivo en otro se manejaba de forma inconsistente. El tiempo de respuesta agravaba el daño, con un tiempo mediano desde el reporte hasta la acción de 45 minutos y superando las cuatro horas durante los picos. El bienestar de los moderadores se había convertido en una crisis de retención, con una deserción anualizada superior al 70% bajo el arreglo previo, produciendo una fuerza laboral permanentemente inexperta y una calidad de decisión degradada.
Por qué Corpshore Colombia
Corpshore Colombia propuso Cali por su mezcla demográfica latinoamericana y su creciente mercado laboral de servicios, y propuso un modelo de moderación construido en torno al enrutamiento de decisiones regional en lugar de una dotación uniforme.
El marco de bienestar fue decisivo. El enfoque documentado de Corpshore, rotación obligatoria fuera de las colas de alta intensidad, descompresión programada, consejería en sitio y apoyo entre pares, fue evaluado como materialmente más desarrollado que las ofertas competidoras, y el cliente había concluido que su problema de deserción era la causa raíz de su problema de calidad. Corpshore también propuso combinar la moderación humana con el entrenamiento de clasificadores en un solo compromiso.
El compromiso
Sesenta y seis moderadores en Cali provenientes de diversas nacionalidades latinoamericanas, ocho especialistas en entrenamiento de IA en la mejora de clasificadores, cinco líderes de confianza y seguridad y dos consejeros de bienestar en sitio. La cobertura es de 24 horas en turnos rotativos. Todos los moderadores completan una incorporación de seis semanas que cubre política, contexto regional, marcos de decisión, escalamiento y práctica de bienestar antes de manejar contenido en vivo, con capacitación y límites de rotación separados para las categorías más difíciles.
Enfoque y metodología
Enrutamiento de decisiones regional. El contenido se enruta a un moderador familiarizado con el idioma y el contexto cultural de la región de origen en lugar de una cola genérica en español, abordando la inconsistencia que la dotación uniforme no puede resolver.
Las decisiones de los moderadores como datos de entrenamiento. Cada decisión, con su contexto regional y su código de razonamiento, alimenta el conjunto de entrenamiento del clasificador. Se completaron seis ciclos de reentrenamiento, cada uno incorporando las decisiones humanas del ciclo anterior.
Triaje aumentado por IA, no reemplazo. El clasificador prepuntúa y prioriza en lugar de actuar de forma autónoma por encima de una banda estrecha de alta confianza, manteniendo el juicio humano sobre el contenido ambiguo mientras remueve el volumen rutinario, lo que produjo la mejora en el tiempo de respuesta sin un costo en precisión.
El bienestar como requisito operativo. Los límites de rotación, la descompresión, la consejería en sitio y el apoyo entre pares están programados y se hacen cumplir. La deserción en esta cuenta es del 21% anualizado frente al 70% previo del cliente, y el cliente atribuye la mejora en la calidad de decisión principalmente a la antigüedad.
Precisión y exhaustividad del clasificador en español
Resultados
La precisión del clasificador subió de 72.0% a 94.0% y la exhaustividad de 61.4% a 93.1% a lo largo de seis ciclos de reentrenamiento. La mejora en precisión redujo las remociones indebidas, la fuente de la crítica pública de la plataforma. El tiempo mediano desde el reporte hasta la acción cayó de 45 minutos a 4 minutos, sostenido durante los picos porque el triaje por IA absorbe el volumen rutinario que antes hacía fila detrás de los casos ambiguos. La deserción de moderadores cayó de más del 70% a 21%, y la exactitud de decisión frente a la revisión de los líderes de confianza y seguridad subió de 79% a 96%.
Valor duradero
El corpus de entrenamiento anotado regionalmente y la taxonomía de códigos de razonamiento son propiedad del cliente y respaldarán el desarrollo del clasificador con independencia de cualquier proveedor. El marco de bienestar se ha adoptado como estándar de Corpshore Colombia para cuentas que manejan contenido angustiante. El compromiso se ha extendido a la moderación en portugués brasileño y al red-teaming de las funciones de contenido generativo del cliente.
Indicadores clave
| Métrica | Punto de partida | Mes 12 | Cambio |
|---|---|---|---|
| Precisión del clasificador | 72.0% | 94.0% | +22.0 pts |
| Exhaustividad del clasificador | 61.4% | 93.1% | +31.7 pts |
| Tiempo mediano hasta la acción de moderación | 45 min | 4 min | -91% |
| Exactitud de decisión del moderador | 79% | 96% | +17 pts |
| Deserción de moderadores, anualizada | > 70% | 21% | -70% |
| Apelaciones por remoción indebida aceptadas | 18% | 3% | -83% |
| Contenido revisado por día | n/a | n/a | +235% |
Cuando una métrica solo reveló un cambio, las cifras absolutas se muestran con un guion. Las cifras son reportadas por el cliente o medidas de forma conjunta.
Habíamos tratado la deserción como un problema de RR. HH. y la calidad como un problema de capacitación. Eran el mismo problema. Una vez que los moderadores se quedaban más de un año, la calidad de decisión se corregía sola.
Temas relacionados