Cómo funcionan los modelos de lenguaje grandes: transformers, atención y por qué alucinan

GPT-4 se entrenó con aproximadamente 1 billón de tokens — más texto del que un humano podría leer en 20.000 vidas. Sin embargo, a pesar de haber ingerido casi todo el conocimiento humano registrado, sigue afirmando con total confianza que Abraham Lincoln inventó el teléfono. Entender por qué requiere entender qué hacen realmente los modelos de lenguaje grandes — que resulta ser a la vez más simple y más extraño de lo que la mayoría de la gente asume.

Puntos clave

• Los LLM predicen tokens: en esencia, los modelos de lenguaje son predictores del siguiente token — asignan probabilidades a qué palabra (o fragmento de palabra) viene a continuación, de forma repetida.
• Los transformers reemplazaron a las RNN: el artículo de 2017 "Attention Is All You Need" introdujo la arquitectura que ahora usan prácticamente todos los grandes LLM.
• La atención es memoria selectiva: la autoatención permite que cada token "mire" a cualquier otro token en el contexto y decida qué relaciones importan más.
• La escala crea emergencia: capacidades como el razonamiento y el aprendizaje en contexto aparecen repentinamente a ciertos tamaños de modelo — no fueron entrenadas explícitamente.
• El RLHF moldea el comportamiento: el aprendizaje por refuerzo a partir de retroalimentación humana es lo que convierte un modelo de lenguaje en bruto en un asistente útil e inofensivo.
• La alucinación es estructural: los LLM no recuperan hechos; generan continuaciones plausibles. Eso es fundamentalmente distinto de una consulta a una base de datos.

La operación fundamental: predicción del siguiente token

Elimina toda la complejidad y un LLM está haciendo una sola cosa: dada una secuencia de tokens, predecir el siguiente. Un token equivale aproximadamente a 3-4 caracteres en promedio — "transformer" se convierte en ["transform", "er"], "unbelievable" podría ser ["un", "believ", "able"].

Durante el entrenamiento, el modelo ve una oración parcial e intenta predecir el token siguiente enmascarado. Si se equivoca, la señal de error se propaga hacia atrás a través de la red mediante retropropagación, ajustando ligeramente miles de millones de parámetros. Haz esto billones de veces a través de texto diverso y sucede algo notable: el modelo debe aprender gramática, hechos, patrones de razonamiento e incluso convenciones sociales — porque todos estos están codificados en los patrones estadísticos del lenguaje humano.

Esto se llama aprendizaje autosupervisado. No se requieren etiquetas humanas. Los propios datos de entrenamiento son la señal de supervisión.

La arquitectura Transformer

Antes de 2017, los modelos de lenguaje usaban Redes Neuronales Recurrentes (RNN), que procesaban el texto secuencialmente — token por token. Esto era lento y tenía dificultades con las dependencias de largo alcance. Si el sujeto de una oración aparecía 500 palabras antes que su verbo, las RNN a menudo olvidaban la conexión.

El Transformer, introducido por Vaswani et al. en "Attention Is All You Need", resolvió esto con una idea radical: procesar todos los tokens simultáneamente y dejar que cada token atienda directamente a cualquier otro token. Se acabó el cuello de botella secuencial.

Un Transformer consta de capas apiladas, cada una con dos componentes clave:

Autoatención multicabezal: para cada token, el modelo calcula tres vectores — Consulta (Q), Clave (K) y Valor (V) — multiplicando el embedding del token por matrices de pesos aprendidas. La puntuación de atención entre dos tokens se calcula como softmax(QK^T / √d_k), donde d_k es la dimensión de la clave. Esta puntuación determina cuánta información "toma prestada" cada token de otros tokens.

Redes de propagación hacia adelante: después de la atención, la representación de cada token pasa por un MLP de dos capas aplicado de forma idéntica en cada posición. Se cree que aquí es donde se almacena gran parte del conocimiento factual del modelo.

Los modelos estilo GPT (solo decodificador) añaden una restricción crucial: el enmascaramiento causal. Cada token solo puede atender a tokens anteriores, no a futuros. Esto impone la generación de izquierda a derecha y hace que el modelo sea autorregresivo — cada token de salida se convierte en parte de la entrada para predecir el siguiente.

Por qué funciona la atención: una intuición

Considera la frase "El trofeo no cabía en la maleta porque era demasiado grande." ¿A qué se refiere "era"? Para un humano, esto es trivial — se refiere al trofeo. Para una RNN, esto requería mantener ese contexto a lo largo de muchos pasos.

Con la autoatención, el modelo calcula puntuaciones de relevancia entre "era" y cualquier otro token. La palabra "trofeo" recibe un peso de atención alto porque el contexto semántico y sintáctico la hace el antecedente más probable. El modelo aprende estos patrones de relevancia a partir de miles de millones de ejemplos.

La atención "multicabezal" ejecuta este proceso en paralelo a través de muchas cabezas de atención independientes — típicamente entre 32 y 96 en modelos grandes. Diferentes cabezas aprenden diferentes tipos de relaciones: una podría rastrear dependencias sintácticas, otra similitud semántica, otra correferencia. Las salidas se concatenan y se proyectan de vuelta al flujo de representación principal.

Escala y emergencia

GPT-2 (2019) tenía 1.500 millones de parámetros. GPT-3 (2020) tenía 175.000 millones. Esto no fue una mejora incremental — fue una transición de fase. Capacidades que simplemente no existían con 1.500 millones de parámetros aparecieron de repente alrededor de los 100.000 millones o más: aprendizaje en contexto de pocos ejemplos (few-shot), razonamiento en cadena de pensamiento, aritmética básica, generación de código.

Este fenómeno, llamado comportamiento emergente, se comprende poco. La hipótesis principal es que estas capacidades requieren un umbral mínimo de "modelo del mundo" — representaciones comprimidas de conceptos, causalidad y relaciones — que solo se forma cuando el modelo es lo suficientemente grande.

Las leyes de escalado (Kaplan et al., 2020, y el artículo Chinchilla de Hoffmann et al., 2022) formalizaron esto: el rendimiento del modelo escala de forma predecible como una ley de potencia con el cómputo, los parámetros y los datos. El artículo Chinchilla mostró que la mayoría de los modelos grandes estaban infraentrenados — dado el mismo presupuesto de cómputo, un modelo más pequeño entrenado con más datos a menudo supera a un modelo más grande entrenado con menos.

Entrenamiento: de datos en bruto a modelo de lenguaje

El preentrenamiento de un LLM grande implica varias etapas:

Curación de datos: rastreos web (Common Crawl), libros (Books1, Books2), Wikipedia, GitHub, artículos académicos. La mezcla importa enormemente. Los modelos entrenados con más código son mejores en razonamiento; los modelos entrenados con texto científico generalizan de forma diferente.

Tokenización: el texto se convierte en IDs enteros usando algoritmos como Byte Pair Encoding (BPE) o SentencePiece. El vocabulario típicamente contiene entre 32.000 y 100.000 tokens.

Entrenamiento distribuido: los modelos se entrenan a través de miles de GPU usando una combinación de paralelismo de datos (diferentes lotes en diferentes GPU), paralelismo de modelo (diferentes capas en diferentes GPU) y paralelismo de tensores (operaciones matriciales individuales divididas entre GPU). Llama 3 70B usó aproximadamente 1,5 millones de horas-GPU en A100.

Optimización: optimizador Adam con calentamiento de la tasa de aprendizaje y decaimiento coseno. El recorte de gradientes evita gradientes explosivos. El entrenamiento de precisión mixta (bfloat16) reduce los requisitos de memoria.

RLHF: hacer que los modelos sean útiles

Un LLM preentrenado es un motor de completado de texto poderoso pero peligroso. Pídele que explique cómo fabricar explosivos y lo hará — porque eso es lo que haría un motor de completado de texto entrenado con todo el conocimiento humano.

El aprendizaje por refuerzo a partir de retroalimentación humana (RLHF), desarrollado por Stiennon et al. (2020) y escalado por OpenAI para InstructGPT, cambia esto. El proceso tiene tres etapas:

1. Ajuste fino supervisado (SFT): el modelo base se ajusta finamente con pares de prompt-respuesta de alta calidad escritos por contratistas humanos. Esto enseña al modelo el formato de las respuestas útiles.

2. Entrenamiento del modelo de recompensa: los evaluadores humanos comparan pares de respuestas del modelo y las clasifican por calidad, utilidad y seguridad. Estas comparaciones entrenan un "modelo de recompensa" separado que puede puntuar cualquier respuesta.

3. Entrenamiento PPO: el modelo de lenguaje se ajusta finamente usando Optimización de Política Proximal (PPO), un algoritmo de aprendizaje por refuerzo, para maximizar las puntuaciones del modelo de recompensa. Una penalización de divergencia KL evita que el modelo se aleje demasiado del checkpoint de SFT.

La IA Constitucional (el enfoque de Anthropic) y la Optimización Directa de Preferencias (DPO) son alternativas más recientes que reducen la dependencia de bucles de RL complejos.

Por qué alucinan los LLM

Esta es la limitación más profunda e importante de entender. Los LLM no almacenan hechos en una tabla de consulta. Comprimen patrones estadísticos en pesos. Cuando se les pregunta "¿Quién inventó el teléfono?", el modelo no recupera un registro — genera la continuación más probable del prompt dados sus pesos aprendidos.

Normalmente esto funciona. "Alexander Graham Bell" está altamente asociado con "teléfono" en los datos de entrenamiento. Pero para hechos oscuros, eventos recientes (posteriores al corte del entrenamiento) o preguntas que requieren razonamiento numérico preciso, el modelo genera una continuación que suena plausible pero resulta ser incorrecta.

Varios factores amplifican la alucinación:

Cambio de distribución: si un hecho apareció raramente en los datos de entrenamiento, el modelo tiene una señal débil y puede confundirlo con patrones más comunes.

Presión del contexto: los contextos largos a veces hacen que el modelo "derive" hacia completados que suenan plausibles en lugar de precisos.

Sin calibración de incertidumbre: las probabilidades de token del modelo no se corresponden claramente con la confianza epistémica. Una alta probabilidad no significa una alta precisión.

La Generación Aumentada por Recuperación (RAG) aborda esto parcialmente dando al modelo acceso a un sistema de búsqueda — recupera documentos relevantes y condiciona su respuesta en ellos. Pero esto no elimina la alucinación; el modelo aún puede no seguir con precisión el contexto recuperado.

La ventana de contexto: memoria de trabajo

Los Transformers tienen una ventana de contexto fija — el número máximo de tokens que pueden procesar a la vez. GPT-3 tenía 4.096 tokens; GPT-4 Turbo lo extendió a 128.000; Gemini 1.5 Pro alcanzó 1 millón de tokens. Cada token en el contexto atiende a cualquier otro, por lo que la memoria y el cómputo escalan como O(n²) con la longitud del contexto, lo que hace que los contextos muy largos sean costosos.

Dentro de la ventana de contexto, el modelo tiene algo parecido a la memoria de trabajo — puede referenciar cualquier token anterior con igual facilidad. Fuera de la ventana de contexto, no hay memoria en absoluto a menos que se use almacenamiento externo (bases de datos, almacenes vectoriales).

Preguntas frecuentes

Q: ¿Cuál es la diferencia entre GPT-3 y GPT-4? A: OpenAI no ha publicado detalles técnicos completos sobre la arquitectura de GPT-4, pero se entiende ampliamente que es significativamente más grande (posiblemente una arquitectura de mezcla de expertos), entrenada con más datos, con RLHF mejorado y contexto extendido. También se ha informado que GPT-4 usa entrenamiento multimodal (texto + imágenes). Las mejoras de rendimiento son dramáticas en las pruebas de razonamiento.

Q: ¿Cuántos parámetros tiene GPT-4? A: OpenAI no lo ha revelado oficialmente. Las estimaciones van de 200.000 millones a más de 1 billón de parámetros. Algunos informes sugieren que es un modelo de mezcla de expertos con ~8 expertos de ~220.000 millones de parámetros cada uno, totalizando ~1,8 billones pero activando solo ~440.000 millones por pasada hacia adelante.

Q: ¿Pueden los LLM razonar realmente? A: Esto se debate activamente. Los LLM pueden producir resultados que parecen razonamiento y superar muchas pruebas de razonamiento. Sin embargo, muestran fallos sistemáticos en variaciones ligeras de problemas que resuelven correctamente, lo que sugiere que su "razonamiento" puede ser un reconocimiento de patrones sofisticado en lugar de una inferencia lógica formal. El prompting en cadena de pensamiento mejora sustancialmente el rendimiento en problemas de varios pasos.

Q: ¿Qué hace la "temperatura"? A: La temperatura escala los logits (puntuaciones en bruto) antes de la operación softmax que los convierte en probabilidades. Una temperatura alta (p. ej., 2,0) hace que la distribución sea más plana — más aleatoria, más creativa. Una temperatura baja (p. ej., 0,1) la hace más nítida — el token de mayor probabilidad gana casi siempre. La temperatura 0 es efectivamente una decodificación voraz (greedy).

Q: ¿Por qué los LLM son tan costosos computacionalmente? A: La inferencia requiere ejecutar una pasada completa hacia adelante a través de todas las capas del modelo para cada nuevo token. GPT-3 (175.000 millones de parámetros) requiere ~175.000 millones de operaciones de multiplicación-suma por token. A 30 tokens/segundo, eso es ~5,25 billones de FLOPs por segundo — por eso servir modelos grandes requiere hardware especializado costoso como las GPU H100.

Q: ¿Cuál es la diferencia entre entrenamiento y ajuste fino? A: El preentrenamiento aprende patrones generales del lenguaje a partir de conjuntos de datos masivos — esto requiere un cómputo masivo. El ajuste fino adapta el modelo preentrenado para tareas o comportamientos específicos usando conjuntos de datos mucho más pequeños y mucho menos cómputo. Técnicas como LoRA (Adaptación de Bajo Rango) hacen que el ajuste fino sea aún más barato al actualizar solo una pequeña fracción de los pesos.

Q: ¿Seguirán mejorando los LLM con más escala? A: Las leyes de escalado sugieren una mejora continua, pero con rendimientos decrecientes. Algunas capacidades pueden requerir innovaciones arquitectónicas en lugar de escala pura — por ejemplo, memoria verdadera a largo plazo, anclaje factual fiable o razonamiento formal. Las leyes de escalado de Chinchilla también sugieren que el campo podría estar acercándose a límites prácticos de cómputo para las arquitecturas actuales.

---

Sigue leyendo:

• What Is Machine Learning? Explained Simply, with Real Examples
• How Image Recognition Works: The Science of Convolutional Neural Networks
• Mixture of Experts: How Modern AI Models Stay Efficient at Scale