¿Qué es realmente un embedding? (y por qué hereda nuestros sesgos)

Para muchos modelos de lenguaje, “programador” queda más cerca de “hombre” que de “mujer”. Y “hogar”, más cerca de “mujer”.

No es una opinión. Es un ángulo. Y se puede medir.

Hay una idea que me persigue desde mi época de química: la estructura determina las propiedades. Dos moléculas con estructura similar se comportan parecido al interaccionar con el ambiente.

Los embeddings son eso, pero para el lenguaje.

Un embedding convierte un texto en una lista de números: coordenadas de un punto en un espacio. Y ese espacio tiene una propiedad potente: palabras con significado parecido terminan cerca. ¿Cómo se mide “cerca”? Con el ángulo entre vectores (similitud coseno). Ángulo chico = significados parecidos. No hay comprensión mística: hay geometría.

Esto se sabe desde 2013, cuando Mikolov y su equipo en Google mostraron que estos espacios capturan hasta relaciones semánticas: el famoso “rey − hombre + mujer ≈ reina” (word2vec).

Pero acá viene la parte incómoda.

Estos espacios se aprenden leyendo millones de textos escritos por humanos. Y los humanos escribimos con sesgos. En 2016, Bolukbasi y su equipo lo cuantificaron en un paper cuyo título lo dice todo: “Man is to Computer Programmer as Woman is to Homemaker”. El mismo álgebra que resuelve rey → reina, aplicado a “médico − hombre + mujer”, devolvía… enfermera. El modelo no inventó ese prejuicio: lo midió en nuestros textos y lo congeló en coordenadas.

¿Por qué te tiene que importar esto? Porque estos vectores son la infraestructura invisible de productos que ya usás: buscadores, recomendadores, sistemas que filtran CVs, chatbots que responden sobre documentos. Sesgo en el corpus de entrenamiento = sesgo en el producto, salvo que alguien lo mida y lo mitigue.

Y no se puede mitigar lo que no se mide.

La buena noticia: medirlo toma 5 líneas de código. Te las dejo más abajo para que lo compruebes.

¿En qué producto que usás todos los días te gustaría saber qué sesgos tiene bajo el capó?