Ingeniería de plataformas y confiabilidad para una fintech latinoamericana

El cliente es una fintech latinoamericana que opera una plataforma financiera digital en varios países, con sede en la región y una organización de ingeniería distribuida. Su plataforma gestiona pagos y transacciones financieras a gran escala, donde la disponibilidad y la confiabilidad son existenciales y no meramente importantes.

La disponibilidad de la plataforma de la fintech se ubicaba en 97.2%, lo que para una plataforma de pagos representa una cantidad inaceptable de tiempo fuera de servicio. Cada minuto que la plataforma no está disponible son transacciones que fallan y confianza que se erosiona, y el rápido crecimiento de la empresa estaba superando la confiabilidad de su infraestructura. La organización de ingeniería estaba consumida por la respuesta a incidentes y no tenía capacidad para mejorar la plataforma. Cada iniciativa de confiabilidad del año anterior había sido abandonada a mitad de camino cuando la carga de incidentes reclamaba al equipo, un patrón familiar y corrosivo. El despliegue era lento y riesgoso. Sin infraestructura de entrega progresiva, cada versión conllevaba el riesgo de toda la plataforma, lo que hacía que el equipo publicara con poca frecuencia, lo que hacía que cada versión fuera más grande y más riesgosa, un problema que se refuerza a sí mismo. La fintech había intentado contratar ingenieros senior de plataformas y confiabilidad en sus mercados y encontró el perfil escaso y costoso, y sus propios ingenieros eran arrastrados hacia el trabajo de funcionalidades por la presión de producto.

Corpshore Colombia propuso un compromiso de dos vías, una vía de operación que estabilizara la plataforma y una vía de construcción que edificara la infraestructura de confiabilidad y entrega, con la vía de construcción contractualmente protegida de la respuesta a incidentes para que no pudiera ser consumida por la extinción de incendios, que había acabado con los intentos internos previos de la fintech.

Bogotá ubicó al equipo en el centro financiero y de ingeniería del país, en el horario del cliente, y la experiencia de Corpshore con plataformas financieras reguladas y su postura de seguridad importaban para un entorno de pagos.

Veinte ingenieros en Bogotá: dos líderes técnicos, siete senior, nueve semisenior y dos junior, divididos entre una vía de operación y una vía de construcción protegida. La cobertura de operación es de 24 horas para incidentes críticos; la vía de construcción trabaja en horario estándar y está contractualmente protegida de la respuesta a incidentes. Stack: Kubernetes, Terraform, AWS, Go, Python, Prometheus, Grafana, con la plataforma existente del cliente.

Estabilizar por causa, no por ticket. La respuesta a incidentes pasó de la extinción de incendios a la eliminación de causas, con cada incidente crítico produciendo un registro de causa raíz y una acción preventiva. La curva de disponibilidad refleja la eliminación de causas más que una recuperación más rápida. Construcción de confiabilidad protegida. La vía de construcción edificó observabilidad, entrega progresiva e infraestructura de autoservicio, protegida de la carga de incidentes, que es la única razón por la que sobrevivió para entregar donde los intentos previos de la fintech no lo habían logrado. Entrega progresiva. Los feature flags, los despliegues canary y el rollback automatizado desacoplaron la versión del riesgo, permitiendo un despliegue frecuente y seguro. Transferencia de conocimiento documentada. La infraestructura y los runbooks se construyen a un estándar que los propios ingenieros del cliente operan, con hitos de transferencia definidos.

Disponibilidad de la plataforma central

La disponibilidad de la plataforma central subió de 97.2% a 99.87% al mes 12, reduciendo el tiempo fuera de servicio mensual de aproximadamente veinte horas a menos de una, en una plataforma de pagos donde esa diferencia es existencial. El tiempo medio de resolución en incidentes críticos cayó de más de once horas a 0.7 horas, y la frecuencia de incidentes críticos cayó a medida que la eliminación de causas se afianzó. Los propios ingenieros de la fintech fueron devueltos al trabajo de funcionalidades a medida que la plataforma se estabilizó, y la frecuencia de despliegue subió a semanal o mejor por equipo.

La infraestructura de observabilidad y entrega progresiva es propiedad del cliente y operada por los ingenieros de la fintech. El modelo de dos vías protegidas se ha convertido en la plantilla del cliente para el trabajo de infraestructura. Corpshore Colombia ha extendido el compromiso a la ingeniería de seguridad de la plataforma.