¿Cómo medir mejor el impacto del gobierno digital? Cuatro lecciones de experimentos en América Latina y el Caribe: BID
Prensa BID
Digitalizar los servicios públicos ahora parece la respuesta automática a cualquier problema: si un servicio tiene baja adopción, digitalízalo. Si los costos administrativos son altos, digitalízalo. Si la comunicación con la ciudadanía es deficiente, digitalízala. Pero digitalizar no es lo mismo que transformar, y no siempre responde a las verdaderas necesidades de las personas.
En los últimos años, los gobiernos de América Latina y el Caribe (ALC) han invertido de manera significativa en plataformas, aplicaciones móviles e identidad digital. Sin embargo, todavía sabemos poco sobre qué herramientas digitales realmente mejoran la vida de las personas. A diferencia de sectores como salud o educación, donde abundan las evaluaciones rigurosas, el campo del gobierno digital aún está construyendo su base de evidencia.
Para ello, la pregunta clave no es si debemos digitalizar, sino cómo medir mejor el impacto del gobierno digital antes de escalar soluciones. Ayudar a los gobiernos a contestar esta pregunta es parte de nuestra agenda de trabajo en el Banco Interamericano de Desarrollo (BID).
¿Por qué es tan difícil medir el impacto de la digitalización de servicios públicos?
La evaluación de herramientas de gobierno digital enfrenta tres desafíos principales:
1. Múltiples cambios ocurren al mismo tiempo. Cuando se implementa una nueva plataforma digital, suele formar parte de un paquete más amplio de reformas, por lo que es difícil aislar el impacto de esa intervención específica. Si después de lanzar un sistema de citas médicas en línea aumenta el número de consultas, ¿fue por la tecnología o por el personal adicional contratado al mismo tiempo?
2. Los usuarios digitales no representan a toda la población: Quienes usan servicios digitales suelen tener más conectividad, mayores habilidades digitales y mayor nivel educativo. Esto significa que los resultados de implementación de políticas de digitalización no necesariamente se pueden generalizar a toda la población.
3. Más datos no siempre significan mejores resultados: La digitalización mejora el registro de información, lo que puede hacer que parezca que hay más actividad cuando en realidad solo hay mejor medición.
Gobierno digital basado en evidencia: cuatro experimentos en la región
Una de las herramientas más confiables para aislar el efecto real de una intervención digital son los experimentos aleatorios controlados (RCT, por sus siglas en inglés). En un RCT, ciudadanos o funcionarios se asignan aleatoriamente a distintos grupos: algunos reciben la nueva herramienta digital y otros no. Esta comparación permite identificar con mayor precisión qué funciona y qué no.
Los siguientes cuatro casos en la región ilustran cómo esta metodología puede mejorar la toma de decisiones en gobierno digital.
1. Panamá: recordatorios por mensaje de texto aumentan la renovación de cédulas
El desafío: El 15 % de las personas con cédulas vencidas no las renovaban a tiempo, afectando su acceso a servicios públicos.
El experimento: Para aumentar el número de personas que renovaban a tiempo su cédula, se enviaron mensajes de texto a más de 3.000 personas, asignadas aleatoriamente a tres enfoques:
- Recordatorio por mensajes de texto (SMS)
- Recordatorio por SMS + enlace web con información precargada para agendar una cita
- Grupo de control (sin intervención)
El resultado: El simple recordatorio por SMS fue más efectivo que el enlace digital. Cerca del 60% de quienes intentaron usar la plataforma abandonaron el proceso. El principal obstáculo fue el requisito de tomarse una selfie que cumpliera criterios técnicos específicos.
Lección clave: Más tecnología no siempre significa mejores resultados. Cuando una herramienta añade fricción, puede reducir la adopción. A veces, simple es mejor.
El desafío: El 60% de las mujeres en Montevideo, Uruguay no cumplían con las recomendaciones de tamizaje de cáncer cervical.
El experimento: 47.600 mujeres fueron asignadas aleatoriamente a uno de cuatro grupos:
– Mensaje con énfasis en los beneficios del tamizaje acompañado de acceso a agendamiento digital
– Mensaje con énfasis en los riesgos de no hacerse el tamizaje, acompañado de acceso a agendamiento digital
– Mensaje con énfasis en los beneficios del tamizaje, sin acceso a agendamiento digital
– Mensaje con énfasis en los riesgos de no hacerse el tamizaje, sin acceso a agendamiento digital
El resultado: Los mensajes persuasivos (nudges) no tuvieron impacto significativo, pero ofrecer una herramienta digital que facilitara el agendamiento triplicó la asistencia a las citas (de 1,9% a 5,3%).
Lección clave: La tecnología que reduce fricciones tiene más impacto que los mensajes persuasivos.
Uruguay: la promoción personalizada genera recordación, pero no adopción de la identidad digital
El desafío: Si bien la identidad digital ofrece muchos beneficios, la adopción es aún limitada.
El experimento: Con una muestra de 15.000 personas, se probaron tres canales para promover la adopción de ID digital: SMS (unidireccional), WhatsApp (bidireccional y personalizado) y llamadas telefónicas (bidireccional y personalizado).
El resultado: WhatsApp fue el canal más costo-efectivo para generar conciencia, con 17 puntos porcentuales más de personas recordando haber recibido promoción de la ID digital. Pero ningún canal logró aumentar su adopción. Persiste además una gran confusión sobre la tenencia:
Lección clave: Generar conciencia no garantiza adopción, especialmente cuando el proceso es complejo.
Argentina: Simulaciones prácticas mejoran la ciberseguridad en el sector público
El desafío: Más de dos tercios de los ciberataques ocurren por errores humanos. El phishing (correos electrónicos maliciosos) es el más frecuente, y ante un ataque, la literatura estima que el 21% de los empleados podría caer como víctima.
El experimento: Se evaluaron dos enfoques de capacitación con 1.920 funcionarios:
- Cursos tradicionales de 40 minutos
- Simulaciones prácticas de phishing con retroalimentación inmediata
El resultado: El enfoque práctico redujo la susceptibilidad al phishing en 7 puntos porcentuales, mientras que el enfoque tradicional solo logró una reducción de 2 puntos.
Lección clave: En ciberseguridad pública, la experiencia práctica supera la capacitación teórica.
Fuente: iStock
¿Cuándo conviene experimentar en gobierno digital para mejorar la toma de decisiones?
Los experimentos son especialmente útiles cuando:
– Hay múltiples opciones de promoción o implementación, pero no es claro cuál es la mejor.
– Se planea realizar un piloto antes de escalar una herramienta digital.
– La implementación de la herramienta planea ser gradual.
– Se busca medir el impacto real y la magnitud de los efectos de las herramientas digitales en la experiencia ciudadana.
En cambio, no son la mejor herramienta cuando:
– Se trata de tomar una decisión sobre hacer una inversión masiva. Se busca evaluar un programa que estará disponible a nivel nacional.
– Los efectos solo se esperan ver en el largo plazo.
– No existe apetito institucional para usar grupos de control, generalmente por el riesgo de excluir a algunos potenciales beneficiarios.
En resumen, los experimentos son más valiosos cuando ayudan a afinar y aprender, pero no cuando se quiere resolver de golpe toda la política pública.
El futuro del gobierno digital basado en evidencia
La transformación digital del gobierno continuará acelerándose en ALC. Sin embargo, su efectividad no está garantizada.
La evidencia obtenida por medio de estos experimentos sugiere tres principios clave:
1. Reducir fricciones importa más que persuadir.
2. La simplicidad suele superar la sofisticación tecnológica.
3. La experiencia práctica puede cambiar comportamientos más que la información teórica.
Antes de escalar una nueva herramienta digital, los gobiernos deberían preguntarse:
¿tenemos evidencia de que esto realmente mejora la vida de las personas?
Pilotear, medir y ajustar no retrasa la innovación pública, por el contrario, la fortalece. Cada RCT enriquece el conocimiento global sobre qué funciona para mejorar la experiencia ciudadana y la función pública.
Por eso, desde el BID impulsamos una agenda de gobierno digital basada en evidencia, que combina investigación rigurosa, pilotos controlados y evaluaciones de impacto.
A través de estos experimentos acompañamos a los gobiernos a tomar decisiones más informadas antes de escalar soluciones tecnológicas y a transferir aprendizajes entre países de la región. Generar evidencia sobre qué reduce fricciones, qué cambia comportamientos y qué no produce los resultados esperados permite diseñar políticas digitales más estratégicas y centradas en la ciudadanía.
En última instancia, no se trata de digitalizar por digitalizar. Se trata de construir un gobierno digital que se enfoque en mejorar la vida de su ciudadanía.