Una POC no optimiza la calidad: optimiza la sensación de calidad

Una POC de IA no optimiza la calidad. Optimiza la SENSACIÓN de calidad.

La escena se repite: alguien probó cinco prompts, las respuestas salieron bien, la sala aplaudió. Pero eso no es calidad medida, es percepción sobre ejemplos elegidos. Sin conjunto de evaluación, sin baseline, sin siquiera una definición escrita de qué significa “bien” para ese caso de uso. La calidad es la variable que todos declaran y casi nadie mide, porque medirla en serio exige entender qué hay adentro de la caja. Y la caja, para la mayoría, sigue negra.

Y mientras la calidad llega sin medir, hay otras cinco variables que ni siquiera llegan a la reunión:

Costo: el de cada request, multiplicado por usuarios, por día, por año. En IA generativa el costo es una variable de DISEÑO, no una línea de la factura.

Latencia: la respuesta perfecta que tarda 30 segundos es una mala respuesta.

Escalabilidad: ¿qué pasa el día que en vez de 10 usuarios son 10.000?

Seguridad y privacidad: ¿qué datos salen de tu perímetro en cada prompt?

Operabilidad: cuando responda mal un martes a las 3 AM, ¿cómo lo vas a saber, medir y debuggear? Un sistema que no se puede observar no se puede mejorar, solo se puede apagar.

Ninguna es nueva: son los pilares que frameworks como el AWS Well-Architected llevan años sistematizando. Lo que cambió es que la IA generativa tensiona las seis a la vez, con trade-offs brutales: el modelo más grande sube calidad y destruye costo y latencia; el contexto más largo mejora respuestas y empeora todo lo demás. Elegir sin dibujar el mapa completo no es diseñar: es improvisar con presupuesto.

Así que un desafío concreto para esta semana: en tu próxima reunión de arquitectura, dibujá el hexágono y hacé UNA pregunta: “¿cómo estamos midiendo calidad?”. Si la respuesta es “se ve bien”… ya sabés cuántos ejes están realmente en cero.

AWS Well-Architected Framework → https://aws.amazon.com/architecture/well-architected/ (los principios son agnósticos al proveedor)

(Y sobre CÓMO medir esa calidad que la POC no mide… eso merece su propio post. Pronto.)