¿Cómo evaluar un agente de inteligencia artificial?

Construir un agente es solo el primer paso. Saber si realmente está haciendo bien su trabajo es donde está el verdadero valor. Y para eso conviene evaluarlo en tres dimensiones que se complementan.

• Capability (capacidad) — ¿entiende la instrucción completa? Si usted le pide reservar un hotel que acepte mascotas y reserva uno que no las admite, el agente falló antes de empezar.
• Trajectory (trayectoria) — ¿qué camino tomó para resolver la tarea? No basta con llegar a la respuesta; importa llegar de forma eficiente. Dos agentes pueden resolver lo mismo, pero uno en tres pasos y otro en seis.
• Final Response (respuesta final) — ¿la respuesta es concreta y accionable? Decir que 'las ventas estuvieron bien' no le sirve a nadie; decir que hubo un crecimiento del 20% en ciertas categorías y recomendar accionar descuentos en segmentos específicos, sí.

La clave es que un agente puede dar una buena respuesta final y aun así ser ineficiente en su camino, o ser eficiente pero incapaz de entender la instrucción. Por eso las tres dimensiones se evalúan juntas: una sola no es suficiente.