Tu idioma paga impuesto: la relación entre tokens y palabras

Escribir el mismo prompt en español puede costar más caro que en inglés. No es política de precios: es matemática del tokenizador.

Los modelos de lenguaje no leen palabras — leen tokens: las piezas en que un tokenizador parte el texto antes de que el modelo lo vea. Las palabras frecuentes en su corpus de entrenamiento quedan enteras; las raras se fragmentan en pedazos. Y como los tokenizadores se entrenan mayormente con texto en inglés, adiviná qué idioma queda entero y cuál se hace pedazos.

Esto tiene métrica y tiene nombre: fertility — cuántos tokens genera en promedio cada palabra. El tokenizador ideal tendría fertility 1.0. El inglés suele estar cerca; otros idiomas, no tanto.

¿Y cuánto puede llegar a doler? En NeurIPS 2023, Petrov y su equipo midieron el mismo texto traducido a decenas de idiomas: las diferencias de longitud en tokens llegan a 15 veces entre idiomas, y hay comunidades lingüísticas pagando al menos 2,5 veces más por acceder al mismo servicio. Porque el token no es una curiosidad técnica: es la unidad de facturación, de latencia y de ventana de contexto. Más tokens = más plata, más lento, y menos espacio para tu contexto en cada request.

Hay un segundo giro que casi nadie mira: no es solo el idioma — es el dominio. El tokenizador aprendió sus cortes de SU corpus: si tus prompts viven en jerga legal, médica o técnica que el tokenizador vio poco, tu fertility real es peor que la del benchmark, aunque escribas en inglés.

La buena noticia para 2026: los tokenizadores modernos con vocabularios enormes achicaron muchísimo el impuesto respecto de los clásicos. ¿Cuánto exactamente, para TU idioma y TU dominio? Esa es la parte que no te puedo decir yo — porque depende de tu caso, y porque medirlo toma 10 líneas: tomás tus prompts reales, los pasás por el tokenizador del modelo que usás, y dividís tokens sobre palabras. La notebook está más abajo

La próxima vez que compares modelos por precio por millón de tokens, acordate: el precio de lista es por token — cuántos tokens te cobra tu idioma, eso lo decide el tokenizador. ¿Ya mediste el tuyo?