Decisiones

La pregunta que hay que hacerse antes de empezar cualquier prueba de IA

¿Qué tendría que pasar para que digamos que no? Definir de antemano qué evidencia te haría abandonar una prueba es la decisión más barata de todo el proceso — y la que casi nadie toma.

6 min de lectura

La pregunta que hay que hacerse antes de empezar cualquier prueba de IA

Cuando una empresa me presenta una prueba de IA que está por arrancar, hago siempre la misma pregunta, y siempre incomoda un poco: «¿qué tendría que pasar para que dentro de tres semanas digamos que no?».

La respuesta habitual es una versión de «bueno, si no funciona». Y eso no es un criterio: es una manera de dejar la decisión para después, cuando ya haya plata invertida, expectativas creadas y alguien que puso su nombre en el proyecto.

Por qué la pregunta se evita

Nadie arranca algo pensando en cómo va a dejarlo. Preguntarlo en el día uno suena a desconfianza, casi a mala onda. Pero el momento en que se define el criterio de abandono determina qué tan honesto va a ser ese criterio: escrito antes, es una regla; escrito después, es una justificación.

Y hay un motivo psicológico bastante estudiado detrás. A medida que una iniciativa acumula horas, reuniones y explicaciones a dirección, el costo de decir que no sube — no el costo real, el social. A las tres semanas, abandonar es sensato. A los cinco meses, abandonar parece admitir que se desperdiciaron cinco meses, así que se sigue.

El criterio de abandono es lo único que se abarata escribiéndolo temprano. Todo lo demás de un proyecto se puede definir sobre la marcha.

Cómo se escribe, en concreto

Un criterio de abandono útil tiene cuatro partes y entra en tres renglones. No es un documento: es una fila de una planilla.

Las cuatro columnas del criterio, escritas antes de tocar una herramienta
ColumnaEjemplo — lectura de facturas de proveedores
Qué decisión toma esta pruebaSi automatizamos o no la carga de facturas de proveedores en el sistema contable
Qué medimos, contra qué línea de basePorcentaje de facturas procesadas sin intervención humana. Hoy: 0 %. Tiempo actual: 3 días-persona por mes sobre ~400 facturas
Umbral para seguir70 % o más sin intervención, con menos de 2 % de errores que lleguen al sistema
Umbral para cortarMenos del 50 % sin intervención, o cualquier error que pase sin detectarse al asiento contable

Entre los dos umbrales queda una zona gris deliberada —entre el 50 % y el 70 %— y está bien que quede. Esa franja es la que se discute en la reunión, con datos sobre la mesa en lugar de impresiones. Lo que no puede quedar difuso son los extremos.

Por qué descartar rápido sale más barato

El costo visible de una prueba que se estira es el tiempo de la gente. El invisible, que es mayor, se compone de tres cosas:

  • Ocupa el cupo. Si tu empresa sostiene una prueba activa por área —que es lo que recomiendo—, una iniciativa que no cierra bloquea todas las que vienen atrás. El costo real no es lo que gastás en ella: es lo que no probaste mientras tanto.
  • Gasta credibilidad. Cada vez que alguien pregunta «¿cómo viene lo de la IA?» y la respuesta es «ahí va», el proceso entero pierde un poco de crédito. A la cuarta vez, la gente deja de preguntar y de proponer.
  • Contamina la próxima decisión. Una prueba sin cierre no deja aprendizaje. Seis meses después alguien propone algo parecido y nadie puede decir con precisión por qué la anterior no anduvo.

Hay tareas donde la IA no falla: acierta con seguridad cosas equivocadas

Un motivo adicional, y menos obvio, para definir el umbral de corte por adelantado. El experimento de Harvard Business School y BCG con 758 consultores, Navigating the Jagged Technological Frontier, encontró que en las tareas fuera del terreno donde el modelo es competente, quienes usaron IA fueron más propensos a entregar respuestas incorrectas que quienes trabajaron sin ella.

Esto tiene una consecuencia práctica para el criterio de abandono: no alcanza con medir velocidad. Una prueba puede mostrar que ahora todo se hace tres veces más rápido y estar produciendo, sin que nadie lo note, resultados peores. Por eso todo umbral de corte necesita, además de la métrica de eficiencia, una métrica de error revisada por una persona sobre una muestra.

Las cuatro cosas que se escriben antes de empezar

  • Qué decisión toma esta prueba. Si no hay una decisión esperando el resultado, no es una prueba: es una demostración.
  • Qué medimos y contra qué. Con la línea de base tomada antes, aunque sea a ojo. Una estimación escrita el día uno vale más que un dato exacto conseguido el día treinta.
  • Cuánto dura y quién la lleva. Fecha de cierre en el calendario y un nombre. Sin fecha no hay prueba, hay una nueva forma de trabajar que se instaló sin que nadie la aprobara.
  • Qué resultado nos hace cortar. El umbral explícito, incluyendo al menos un error que sea inaceptable por sí solo, sin importar cuán buenos sean los demás números.

Escribir esas cuatro líneas lleva veinte minutos. Es, de lejos, la mejor relación entre esfuerzo y riesgo evitado de todo el proceso de adopción — y lo que convierte una prueba en algo que efectivamente termina, en lugar de en una actividad que se va apagando sin que nadie recuerde bien cómo empezó.

¿Listo para escalar con inteligencia artificial?

Convertí la IA en una ventaja competitiva. Agendá un diagnóstico y definamos el primer paso.

Respuesta en 24 h

Escribime por WhatsApp