Directiva evaluando una herramienta de IA con una lista de comprobación antes de decidir su compra

GOBERNANZA Y RIESGOS · Guía · Actualizada septiembre 2026

Cómo hacer una prueba piloto de IA antes de comprar: la guía paso a paso

Casi todo lo que escribo sobre inteligencia artificial acaba en la misma frase: antes de firmar, haz un piloto. La repito con la recepcionista que no agenda, con el agente que se equivoca por ti, con el proveedor que no tiene referencias. Y la repito porque es la única herramienta que tiene un directivo para separar lo que la IA hace de verdad de lo que el comercial dice que hace. Esta guía es el método completo: qué probar, cómo medirlo y cómo decidir, para que el piloto te dé una respuesta y no una demo bonita.

Una advertencia antes de empezar: un piloto no es "probar la herramienta a ver qué tal". Eso lo hace cualquiera y no demuestra nada. Un piloto es un experimento con reglas que pones tú antes de empezar, para que al final el resultado te obligue a decidir, aunque la respuesta no te guste.

Un piloto no sirve para confirmar que quieres comprar. Sirve para descubrir si deberías.

Paso 1: el caso lo eliges tú, y que sea feo

El error más común es dejar que el proveedor elija qué se prueba. Su caso siempre será el lucido: el que sabe que sale bien. Tú necesitas lo contrario. Coge una tarea real de tu día a día, con sus rarezas: el cliente que llama enfadado, el pedido con una excepción, la cita que cae en festivo. Si la IA solo funciona con el ejemplo del folleto, no funciona en tu empresa.

Lo comprobé en persona cuando probé tres recepcionistas IA: la demo que te ofrecen para "experimentar la atención que recibirán tus clientes" no estaba configurada como ningún negocio real. Si la prueba no es con tu caso, no es tu prueba.

Paso 2: define antes qué es aprobar, con un número

Antes de encender nada, escribe en una hoja qué resultado haría que dijeras que sí. No vale "que funcione bien". Tiene que ser medible: que resuelva sin ayuda al menos 8 de cada 10 casos, que no cometa más de un error grave al mes, que ahorre al menos tantas horas a la semana. Si no lo fijas antes, al final te moverán la portería y ya no sabrás ni qué esperabas.

Paso 3: mide el coste del error, no solo el acierto

Aquí es donde casi todos los pilotos fallan. Se cuenta cuántas veces acierta la IA y se olvida lo importante: cuánto cuesta cada vez que falla. No es lo mismo un error que te obliga a repetir un correo que uno que ejecuta un pedido equivocado en tu nombre. Apunta cada fallo y ponle precio: tiempo para corregirlo, cliente molesto, dinero perdido.

Una IA que acierta el 90% puede salirte más cara que otra que acierta el 70%, si sus errores son de los que duelen. Por eso la pregunta no es "¿acierta?", sino "¿cuánto me cuesta cuando no acierta?".

Paso 4: humano en el bucle

Durante el piloto, la IA propone y una persona aprueba antes de que nada llegue al cliente o a tu operativa. Así pruebas sin jugarte nada, y además mides algo que casi nadie mide: cuánto tiempo le cuesta a esa persona revisar lo que hace la máquina. Si revisar lleva casi lo mismo que hacerlo a mano, el ahorro prometido se evapora.

Paso 5: pregunta lo que no te cuentan

Un piloto también sirve para conocer al proveedor, no solo a la herramienta. Fíjate en cómo responde cuando algo falla, en cuánto tarda el soporte, en si el precio del piloto es el mismo que el de producción. Y sobre todo, pregunta por la letra pequeña: el coste por uso, los límites del plan, qué pasa con tus datos. Si el proveedor es nuevo y no tiene a quién preguntar, hay formas de comprobarlo sin referencias.

Paso 6: pon fecha de caducidad y decide

Todo piloto necesita una fecha de fin marcada desde el primer día: dos semanas, un mes, lo que tenga sentido para tu caso. Llegado ese día, se decide una de tres cosas, sin excusas:

  • Adelante. Ha cumplido el número que fijaste en el paso 2 y el coste de sus errores es asumible.
  • Fuera. No ha llegado. Se agradece y se descarta, aunque duela por lo invertido.
  • Dentro, pero con menos alcance. Funciona en una parte del trabajo y no en otra. Te quedas con lo que funciona y la parte peligrosa la sigue haciendo una persona.

Lo que no vale es la cuarta opción, la que más se da: dejar el piloto abierto indefinidamente "a ver cómo evoluciona". Un piloto eterno es procrastinar disfrazado de prudencia.

Tu checklist del piloto

Antes de dar por bueno cualquier piloto, repasa esta lista. Márcala a medida que la cumplas: si al final no puedes marcarla entera, tu piloto no es fiable todavía.

Checklist · Prueba piloto de IA

¿Tu piloto está bien planteado?

Pulsa cada punto cuando lo tengas resuelto.

  • El caso de prueba lo he elegido yo, y es real y difícil, no el del folleto.
  • He escrito antes de empezar qué número tiene que alcanzar para aprobar.
  • Apunto cada error y le pongo precio: tiempo, cliente o dinero.
  • Una persona revisa lo que hace la IA antes de que llegue a nadie.
  • Mido cuánto tiempo cuesta esa revisión.
  • Conozco el precio real en producción: cuota, coste por uso y límites.
  • Sé dónde van mis datos y bajo qué contrato.
  • El piloto tiene fecha de fin y sé qué decidiré en cada caso.

0 de 8 puntos resueltos

Empieza marcando lo que ya tienes claro.

Del piloto a la cuenta

Cuando termines, tendrás lo que ningún comercial te va a dar: tus propios números. Horas que de verdad se ahorran, coste real del plan, precio de los errores. Con eso ya puedes hacer la resta que decide si te compensa. La tienes montada en mi guía del coste real de la IA, con una calculadora para meter exactamente los datos que el piloto te ha dado.

Y si quieres ver lo que pasa cuando nadie hace el piloto, lo cuento en el coste oculto de automatizar: la factura que no aparece hasta que te la devuelve un cliente.

La IA no se compra por lo que promete, sino por lo que demuestra en tu casa, con tus casos y tus números. Si no te dejan probarla así, no estás comprando una herramienta: estás comprando una promesa.