El otro día, durante una sesión sobre Inteligencia Artificial
El otro día, durante una sesión sobre Inteligencia Artificial en el proyecto LOAD, lancé una pregunta a mis alumnos: ¿qué es exactamente un token?
La respuesta fue casi unánime: criptomonedas, el límite de uso en Claude o los créditos que se gastan al programar con IA. Sin embargo, en el ámbito de la inteligencia artificial, un token va mucho más allá de un saldo disponible: es la unidad mínima e indivisible con la que un modelo es capaz de procesar y entender el lenguaje.
Una máquina no interpreta palabras ni letras como lo haría una persona. Para que un LLM pueda trabajar con texto, ese texto tiene que pasar antes por un proceso llamado tokenización. En los inicios se probaron dos enfoques: dividir por palabras separadas por espacios, o hacerlo carácter a carácter. El primero generaba vocabularios enormes y no recogía bien las relaciones semánticas; el segundo disparaba el coste computacional y era muy vulnerable ante errores tipográficos.
La solución que se impuso fue el algoritmo Byte Pair Encoding (BPE), que agrupa los caracteres que aparecen juntos con mayor frecuencia hasta alcanzar una convergencia. En inglés, un token equivale de media a entre 4 y 5 caracteres, mientras que los caracteres especiales suelen constituir tokens por sí solos. Gracias a la tokenización y la vectorización, el texto se convierte en representaciones matemáticas donde, por ejemplo, París se relaciona con Francia del mismo modo que Berlín lo hace con Alemania, o donde términos como oso quedan próximos a tierno o suave.
Entender esto resulta fundamental por tres motivos concretos:
1. Ventana de contexto: determina cuánta memoria de trabajo activa tiene el modelo en cada momento.
2. Costes: las APIs cobran por tokens de entrada y salida, no por número de palabras.
3. Velocidad de generación: cuantos más tokens produce el modelo, mayor es la latencia.
Un par de apuntes técnicos que conviene tener en cuenta:
El español consume más tokens que el inglés para expresar el mismo contenido, debido al entrenamiento base de los tokenizadores, aunque esto también depende del tokenizador concreto que se utilice. Además, elementos como tablas, código o PDFs disparan el consumo de tokens en comparación con el texto plano.
La próxima vez que alguien mencione la palabra token en un contexto de IA, ya sabrás de dónde viene y por qué tiene tanta importancia.
¿Ya ajustas el consumo de tokens en tus prompts y pipelines, o todavía estás en fase de exploración? Cuéntamelo en los comentarios.
Referencias: Stanford University. CME 295 [Diapositivas de clase]. Stanford Online. — Fernández, Y. (2024, 16 de febrero). Qué es un token cuando hablamos de IA. Xataka.Tokenización en LLMs: BPE, ventanas de contexto y optimización de costes en APIs
Resumen técnico
Un token es la unidad mínima de procesamiento en un LLM, no una palabra ni un carácter. El algoritmo estándar de tokenización es Byte Pair Encoding (BPE), que agrupa pares de caracteres por frecuencia de co-ocurrencia hasta converger en un vocabulario óptimo. En inglés, un token equivale a 4-5 caracteres; en español, el ratio es menos eficiente por el sesgo del corpus de entrenamiento. La tokenización precede a la vectorización, que mapea unidades en espacios semánticos donde las relaciones entre entidades son calculables matemáticamente. Las APIs como Claude u OpenAI facturan por tokens de entrada y salida, no por palabras. Tablas, PDFs y bloques de código elevan el consumo drásticamente frente al texto plano.
Análisis de implicaciones
La ventana de contexto de un modelo se mide en tokens, no en palabras: un contexto de 128K tokens no equivale a 128.000 palabras. Esto condiciona directamente el diseño de pipelines RAG, la gestión de historial en agentes conversacionales y la compresión de prompts del sistema. El español genera entre un 15-20% más de tokens que el inglés para contenido equivalente, lo que impacta directamente en latencia y coste por llamada. Las estrategias de chunking en sistemas RAG deben calibrarse sobre tokens, no sobre caracteres ni palabras, para evitar truncamientos silenciosos y pérdida de contexto semántico.
Aplicación práctica
Con la librería tiktoken de OpenAI o tokenizers de Hugging Face se puede auditar el consumo exacto antes de cada llamada a la API. En producción, técnicas como prompt compression con herramientas como LLMLingua reducen tokens de entrada hasta un 20x sin pérdida crítica de información. En pipelines de fine-tuning, la longitud máxima de secuencia en tokens define el tamaño del batch y el consumo de VRAM. Para RAG sobre documentos en español, un chunk de 512 tokens ocupa menos texto real que el mismo chunk configurado para inglés.
Contexto del sector
La carrera por ampliar ventanas de contexto, de los 4K tokens de GPT-3 a los 2M tokens de Gemini 1.5 Pro, redefine qué procesos requieren RAG y cuáles pueden resolverse con contexto largo directo. Paralelamente, los tokenizadores multilingües de nueva generación como los de LLaMA 3 mejoran la eficiencia en lenguas no inglesas, reduciendo la penalización histórica sobre el español y otros idiomas romances.
Artículo relacionado