Las tres métricas que definen qué tan rápida es su IA

Cuando usted le hace una pregunta compleja a un asistente como ChatGPT o Claude, hay un momento en que la pantalla parece 'palpitar' pensando. Ese tiempo no es casualidad: se mide, y se mide con tres métricas que debería conocer si está construyendo, o eligiendo, soluciones con inteligencia artificial.

• Time to First Token (TTFT) — el tiempo entre que usted envía el prompt y aparece la primera palabra. Es la espera inicial antes de que el modelo empiece a responder.
• Time Per Output Token (TPOT) — el tiempo entre cada palabra que va apareciendo. Es lo que hace que el streaming se sienta como una conversación fluida, palabra tras palabra, y no como una pausa.
• End to End Latency (latencia total) — desde su pregunta hasta la respuesta completamente terminada. Es la métrica clave cuando usted implementa agentes personalizados: no importa solo cómo se ve palabra por palabra, sino cuánto tarda el resultado final.

¿Por qué importa distinguirlas? Porque cada modelo, ligero, balanceado o de frontera, tiene tiempos diferentes, y el usuario va a sentir esa diferencia en cada interacción con su plataforma. Un modelo puede empezar a responder rápido pero tardar en terminar, o al revés.

La velocidad de un LLM no es un solo número. Es cuándo empieza a responder, qué tan fluido responde y cuándo termina. Medir las tres es lo que le permite elegir el modelo adecuado para la experiencia que quiere ofrecer.