Cómo se entrenan los modelos de IA: la cadena completa explicada

Entrenar un modelo de lenguaje grande no es un acto único: es un proceso industrial de cinco etapas que comienza con petabytes de texto extraído de internet, pasa por semanas de cómputo en GPU que consumen millones de dólares en electricidad, y termina con un modelo capaz de sostener una conversación coherente. Cada etapa tiene una función específica, un modo de fallo distinto y un costo medible. Así funciona toda la cadena, desde los datos crudos hasta el producto desplegado.

Etapa 1: Recolección y limpieza de datos

Todo modelo de lenguaje es, en un sentido literal, un resumen estadístico comprimido de sus datos de entrenamiento. La calidad y la composición de esos datos determinan las capacidades del modelo más que casi cualquier decisión de arquitectura.

Corpus de preentrenamiento — el conjunto de datos amplio y diverso usado en la fase inicial de entrenamiento, típicamente proveniente de rastreos web, libros, repositorios de código y fuentes curadas como Wikipedia. Solo los volcados de Common Crawl superan los 250 terabytes (TB) de texto sin comprimir.

La web sin procesar está llena de ruido: páginas duplicadas, spam generado por máquinas, contenido para adultos, datos personales y texto de calidad tan baja que entrenar con él perjudica activamente al modelo. Una cadena de datos estándar ejecuta varias pasadas de limpieza. La deduplicación exacta elimina documentos idénticos; la casi-deduplicación (usando algoritmos MinHash) elimina documentos casi idénticos. Los filtros de identificación de idioma conservan o descartan texto según el idioma. Los filtros de calidad, a menudo pequeños clasificadores entrenados con juicios humanos sobre texto "bueno" versus "malo", puntúan y filtran documentos según su calidad percibida.

La mezcla de datos es una decisión deliberada: ¿cuánto texto web frente a libros, frente a código, frente a artículos científicos? La investigación de los artículos de LLaMA de Meta y los informes técnicos de Gemini de Google muestra que la mezcla óptima no es obvia y varía según el caso de uso objetivo. Un modelo entrenado con 20% de código en el preentrenamiento rinde sustancialmente mejor en tareas de programación que uno entrenado con 5% de código, incluso con el mismo presupuesto total de cómputo.

Para cuando los datos están listos para el entrenamiento, el rastreo crudo de internet de varios cientos de terabytes se ha filtrado típicamente hasta 10-50 terabytes de texto de alta calidad para un modelo de tamaño medio, o varios cientos de terabytes para un modelo de frontera.

Fuente: Touvron et al. (2023), "Llama 2: Open Foundation and Fine-Tuned Chat Models," Meta AI — describe la cadena de curación de datos, las estrategias de deduplicación y las proporciones de mezcla usadas para la familia LLaMA 2.

Fuente: Google DeepMind (2023), "Gemini: A Family of Highly Capable Multimodal Models," informe técnico — documenta el origen de los datos multimodales y los enfoques de filtrado de calidad.

Etapa 2: Tokenización

Antes de que cualquier texto llegue a una GPU, debe convertirse en una secuencia de números enteros. Esta conversión la realiza un tokenizador — un componente que divide el texto en unidades de subpalabra llamadas tokens, y luego asigna a cada token un identificador entero de un vocabulario fijo.

Token — un número entero que representa un fragmento de texto, típicamente una palabra, parte de una palabra o un signo de puntuación. La cadena "tokenización" podría dividirse en los tokens ["token", "ización"] o ["t", "oken", "ización"], dependiendo del vocabulario del tokenizador.

El algoritmo más común es la codificación de pares de bytes (Byte-Pair Encoding, BPE), que comienza con caracteres individuales y luego fusiona iterativamente los pares adyacentes más frecuentes hasta alcanzar un tamaño de vocabulario objetivo (típicamente entre 32.000 y 128.000 tokens). GPT-4 usa un vocabulario de 100.277 tokens; LLaMA 3 usa 128.000.

La tokenización crea una restricción práctica importante: los modelos tienen una ventana de contexto — un número máximo de tokens que pueden procesar a la vez. El GPT-3 original tenía un contexto de 2.048 tokens. Los modelos de frontera modernos admiten entre 128.000 y más de 1.000.000 de tokens. Cada token dentro del contexto cuesta memoria y cómputo, así que los contextos más largos no son gratuitos.

Una analogía útil: la tokenización es como reducir todas las oraciones posibles en español a un alfabeto fijo de unos 50.000 fragmentos parecidos a sílabas, y luego tratar cada fragmento como una unidad discreta única. El modelo nunca ve letras: ve números enteros, y los patrones que aprende son relaciones estadísticas entre esos números.

Etapa 3: Preentrenamiento — predicción del siguiente token a gran escala

El preentrenamiento es la etapa más costosa y más importante. El modelo — casi siempre una arquitectura de transformer con miles de millones de parámetros — se entrena en la tarea simple de predecir el siguiente token de una secuencia, dados todos los tokens que lo precedieron.

Transformer — una arquitectura de red neuronal introducida en 2017 que utiliza mecanismos de autoatención para ponderar la relevancia de cada token de una secuencia frente a todos los demás. La autoatención es lo que permite a un transformer conectar "él" en una frase con "el gato" mencionado diez palabras antes.

El objetivo de entrenamiento se denomina pérdida de entropía cruzada: para cada posición del texto de entrenamiento, el modelo produce una distribución de probabilidad sobre todo su vocabulario, y la pérdida mide cuán sorprendido estuvo el modelo por el token real siguiente. Minimizar esta pérdida a lo largo de billones de tokens obliga al modelo a interiorizar la gramática, los hechos, los patrones de razonamiento y el conocimiento del mundo codificado en los datos de entrenamiento.

Esto funciona porque la predicción del siguiente token es un sustituto de la comprensión. Un modelo que puede predecir de forma fiable "el paciente fue dado de alta del ___" habrá aprendido, implícitamente, que los hospitales dan de alta a los pacientes y que el espacio en blanco debe ser "hospital". No ocurre ninguna inyección explícita de hechos; el conocimiento emerge del aprendizaje de patrones.

El cómputo requerido escala con tres factores: el número de parámetros, el número de tokens de entrenamiento y la eficiencia del hardware. Las leyes de escalado de Chinchilla (Hoffmann et al., 2022) demostraron empíricamente que, para un presupuesto de cómputo dado, la estrategia óptima es entrenar un modelo más pequeño con más tokens en lugar de un modelo más grande con menos tokens. Un modelo de 70.000 millones de parámetros entrenado con 2 billones de tokens supera a uno de 175.000 millones de parámetros entrenado con 300.000 millones de tokens, al mismo costo de cómputo.

Fuente: Hoffmann et al. (2022), "Training Compute-Optimal Large Language Models," DeepMind — el artículo de Chinchilla que establece que el número óptimo de tokens debe ser aproximadamente 20 veces el número de parámetros del modelo.

Cuánto cuesta el preentrenamiento

Tamaño del modelo	Tokens de entrenamiento	Costo estimado de cómputo (2025-2026)
7.000 millones de parámetros	1-2 billones	$50.000-$500.000
70.000 millones de parámetros	2 billones	$1,2M-$6M
Modelo de frontera (>400.000 millones)	10-15 billones	$50M-$150M

Se estima que entrenar un modelo de frontera como GPT-4 o Gemini Ultra costó entre 50 y 100 millones de dólares en cómputo a precios de 2023-2024. Las GPU H100, a $7-$12 por hora-GPU en los precios de nube de 2025, son el caballo de batalla del preentrenamiento. Una ejecución típica de preentrenamiento usa entre 1.000 y 16.000 H100 simultáneamente, con un tiempo de reloj de entrenamiento medido en semanas o meses.

Fuente: Galileo AI (2025), "How Much Does LLM Training Cost?" — documenta los precios de GPU en la nube y las estimaciones de costo por modelo para el preentrenamiento y el ajuste fino.

Etapa 4: Ajuste fino supervisado

Un modelo preentrenado es un predictor de texto potente, pero no tiene ningún concepto de utilidad, seguridad o seguimiento de instrucciones. Si le preguntas "¿cómo restablezco mi contraseña?", podría continuar la oración en cualquier dirección: narrando una historia, enumerando documentación de software aleatoria o generando una publicación de foro que empieza con esa misma pregunta.

Ajuste fino supervisado (SFT) — una segunda etapa de entrenamiento sobre un conjunto de datos mucho más pequeño y curado de pares (instrucción, respuesta), que enseña al modelo a producir salidas en el formato y estilo que esperan los usuarios.

Los conjuntos de datos de SFT suelen ser creados por anotadores humanos que escriben o curan miles o decenas de miles de conversaciones de ejemplo. El modelo se entrena con esos ejemplos usando el mismo objetivo de predicción del siguiente token que en el preentrenamiento, pero la distribución de los datos es radicalmente distinta: en lugar de texto diverso de internet, el modelo ve pares estructurados de instrucción-respuesta. Esto desplaza la distribución aprendida del modelo de "predecir la siguiente palabra en un documento web" a "producir una respuesta útil a una instrucción".

El SFT es mucho más barato que el preentrenamiento: una ejecución de ajuste fino sobre un modelo de 7.000 millones de parámetros puede completarse en horas en una sola GPU A100 por $50-$500, según el tamaño del conjunto de datos y la calidad objetivo. Los datos, sin embargo, son caros: los ejemplos anotados de alta calidad cuestan entre $5 y $100 cada uno de producir, y normalmente se necesitan entre 10.000 y 100.000 ejemplos.

Etapa 5: Aprendizaje por refuerzo con retroalimentación humana (RLHF)

El SFT por sí solo tiende a producir modelos que son inconsistentemente útiles y que pueden generar contenido dañino. El RLHF es la etapa que alinea al modelo más estrechamente con las preferencias humanas.

RLHF — una técnica de entrenamiento en la que se entrena un modelo de recompensa aparte sobre juicios de preferencia humana (el anotador A califica la respuesta 1 más alta que la respuesta 2), y luego el modelo de lenguaje se ajusta finamente mediante aprendizaje por refuerzo para maximizar la puntuación del modelo de recompensa.

El proceso se ejecuta en tres pasos:

1. Recolectar datos de preferencia. Se muestran a anotadores humanos dos o más salidas del modelo para la misma instrucción, y las clasifican por calidad, utilidad y seguridad. Los grandes laboratorios recolectan cientos de miles de comparaciones de este tipo.
2. Entrenar un modelo de recompensa. Una red neuronal aparte — a menudo una versión más pequeña del modelo base — se entrena para predecir las clasificaciones de preferencia humana. Este modelo de recompensa aprende una puntuación escalar para cualquier par (instrucción, respuesta).
3. Ajustar finamente con RL. El modelo de lenguaje se actualiza usando un algoritmo de gradiente de política (típicamente PPO — Proximal Policy Optimization) para generar salidas que puntúen alto en el modelo de recompensa, mientras que una penalización por divergencia KL evita que se aleje demasiado de la distribución del SFT.

Un cuello de botella crítico: producir 600 anotaciones RLHF de alta calidad cuesta aproximadamente $60.000 — unos $100 por anotación — según cifras documentadas públicamente por laboratorios de IA. Para modelos de frontera que requieren millones de anotaciones, este costo puede superar el costo de cómputo del preentrenamiento.

RLAIF (aprendizaje por refuerzo con retroalimentación de IA) es una variante en la que otro sistema de IA (típicamente un modelo de frontera capaz) actúa como juez de preferencias en lugar de un anotador humano. La IA Constitucional, desarrollada por Anthropic, es una variante de RLAIF en la que la IA critica sus propias salidas frente a un conjunto de principios. Este enfoque reduce drásticamente los costos de datos, pero introduce dependencia de la calidad del modelo juez.

Fuente: Ouyang et al. (2022), "Training language models to follow instructions with human feedback," OpenAI — el artículo fundacional sobre RLHF que describe el proceso de entrenamiento de InstructGPT, base de ChatGPT.

Fuente: Bai et al. (2022), "Constitutional AI: Harmlessness from AI Feedback," Anthropic — describe el RLAIF y la IA Constitucional como alternativa al etiquetado puro de preferencias humanas.

La pila de alineación 2025-2026

El panorama posterior al entrenamiento se ha vuelto más sofisticado desde el artículo original de InstructGPT sobre RLHF. Para 2026, los grandes laboratorios usan cadenas modulares que combinan SFT, optimización de preferencias (DPO, SimPO, KTO — algoritmos que entrenan directamente sobre datos de preferencia sin un modelo de recompensa separado) y aprendizaje por refuerzo con recompensas verificables (GRPO, DAPO) para tareas como matemáticas y código, donde la corrección puede comprobarse automáticamente.

Método	Señal de recompensa	Costo	Ideal para
SFT	Ninguna (supervisado)	Bajo	Formato de instrucciones, estilo
RLHF (PPO)	Preferencias humanas	Alto	Calidad de tipo abierto
DPO	Preferencias humanas (directo)	Medio	Alineación de preferencias sin complejidad de RL
RLAIF	Preferencias de un juez de IA	Medio-bajo	Escala, reducción de costos
RLVR (GRPO/DAPO)	Corrección verificable	Bajo	Matemáticas, código, lógica

Etapa 6: Evaluación

Un modelo entrenado solo es tan confiable como su conjunto de evaluación. En 2026, la evaluación se ejecuta en tres vías paralelas.

La evaluación por benchmarks prueba al modelo en tareas estandarizadas: MMLU (conocimiento de opción múltiple en 57 materias), HumanEval (generación de código), MATH (matemáticas de competencia), HellaSwag y WinoGrande (razonamiento de sentido común). Los benchmarks tienen una limitación conocida: los modelos pueden ser, y a veces son, entrenados de forma involuntaria o deliberada para puntuar bien en benchmarks específicos sin mejorar la capacidad real en el mundo.

La evaluación humana utiliza anotadores para calificar las salidas del modelo en utilidad, inocuidad y honestidad — a menudo llamado el marco HHH (por sus siglas en inglés). Plataformas de evaluación colectiva como Chatbot Arena (LMSYS) permiten a usuarios públicos comparar modelos sin saber cuál produjo cada salida, aportando una señal de preferencia naturalista.

El red-teaming busca provocar salidas dañinas, sesgadas o incorrectas mediante instrucciones adversariales. Los grandes laboratorios realizan ejercicios de red-teaming antes de los lanzamientos públicos, y algunos también financian equipos externos.

Fuente: Hendrycks et al. (2021), "Measuring Massive Multitask Language Understanding," UC Berkeley — el artículo del benchmark MMLU, ampliamente usado para evaluar el conocimiento del modelo en distintos dominios.

La infraestructura de cómputo detrás del entrenamiento

Preentrenar un modelo de frontera requiere no solo un gran número de GPU en bruto, sino también interconexiones de alta velocidad entre ellas. Una única ejecución de entrenamiento de un transformer no cabe en una sola GPU: el modelo se distribuye entre miles de GPU usando paralelismo de datos (cada GPU procesa un lote distinto), paralelismo de tensores (las matrices de pesos del modelo se dividen entre GPU dentro de una capa) y paralelismo de canalización (las capas se dividen secuencialmente entre GPU).

FLOP (operación de coma flotante) — un único cálculo aritmético. Entrenar GPT-3 (175.000 millones de parámetros) con 300.000 millones de tokens requirió aproximadamente 3,14 × 10²³ FLOP. Una GPU H100 realiza aproximadamente 1.000 billones de FLOP por segundo (1 petaFLOP/s) en precisión mixta.

Las GPU NVIDIA H100 dominan el entrenamiento de modelos de frontera en 2025-2026. Una sola H100 de 80 GB cuesta entre $25.000 y $35.000 nueva; el alquiler en la nube ronda entre $7 y $12 por hora-GPU. El clúster de entrenamiento de Llama 3 de Meta usó 24.576 GPU H100. Los pods TPU v5p de Google son una alternativa para el entrenamiento interno de Google.

La huella energética es significativa: entrenar un solo modelo grande consume entre 100 y 1.000 megavatios-hora (MWh) de electricidad, aproximadamente equivalente al consumo eléctrico anual de 10 a 100 hogares estadounidenses.

Fuente: Strubell et al. (2019), "Energy and Policy Considerations for Deep Learning in NLP," Universidad de Massachusetts Amherst — el estudio canónico sobre los costos energéticos del entrenamiento de modelos de PLN, con estimaciones actualizadas en literatura posterior.

Qué significa esto

Entrenar un modelo de IA grande es un problema de ingeniería a escala industrial tanto como uno de investigación. El algoritmo de aprendizaje central — predecir el siguiente token, actualizar los pesos, repetir — es conceptualmente simple, pero su ejecución implica cadenas de datos a escala de petabytes, miles de GPU sincronizadas y procesos de alineación de múltiples etapas que cuestan tanto como construir un avión comercial. Comprender esta cadena aclara tanto las capacidades como las limitaciones de la IA moderna: el modelo sabe lo que contenían sus datos, puede seguir las instrucciones sobre las que fue ajustado finamente, y refleja las preferencias de los humanos que etiquetaron sus datos de RLHF. Nada de eso es magia: es ingeniería con modos de fallo conocidos y costos medibles.

Por qué fallan las ejecuciones de entrenamiento — y qué vigilan los ingenieros

Una ejecución de preentrenamiento de varias semanas no es un proceso de "configurar y olvidar". Un modelo de 70.000 millones de parámetros entrenado en 4.000 GPU H100 con 2 billones de tokens es un sistema distribuido con miles de modos de fallo simultáneos, y los ingenieros que lo ejecutan vigilan un panel de métricas en vivo durante todo el proceso. Entender esos modos de fallo ayuda a explicar tanto por qué el entrenamiento de modelos de frontera es tan costoso como por qué el checkpointing y la gestión de la ejecución se tratan como preocupaciones de ingeniería de primer orden.

Los picos de pérdida y la divergencia del entrenamiento son el fallo catastrófico más común. La pérdida de entrenamiento — la medida de entropía cruzada de cuán sorprendido está el modelo por el siguiente token — debería disminuir suavemente a lo largo de la ejecución, con pequeñas oscilaciones. Un pico de pérdida es un salto brusco hacia arriba, a veces de 0,5 o varias unidades, que indica que los pesos del modelo se movieron hacia una región inusualmente mala del paisaje de pérdida. Los picos leves se autorrecuperan. Los picos severos (a veces llamados "explosiones de pérdida") representan una divergencia real: las salidas del modelo se han vuelto incoherentes, y la ejecución está esencialmente muerta. Los ingenieros se encontraron con esto a gran escala en los primeros días del entrenamiento de modelos grandes, y siguen siendo una preocupación rutinaria. El mecanismo defensivo estándar es un checkpointing agresivo — guardar el estado completo del modelo cada pocos cientos de pasos de entrenamiento — para que, cuando ocurra un pico, la ejecución pueda revertirse al último checkpoint estable en lugar de reiniciarse desde cero.

Los cronogramas de tasa de aprendizaje son una de las principales palancas para prevenir la divergencia. La tasa de aprendizaje controla cuán grande es cada paso de actualización de parámetros. Una tasa de aprendizaje demasiado alta para un lote dado produce actualizaciones que sobrepasan el mínimo local de pérdida, generando inestabilidad. Una tasa de aprendizaje demasiado baja hace que el entrenamiento sea prohibitivamente lento y puede hacer que el modelo se quede atascado en regiones deficientes. La práctica estándar es usar una fase de calentamiento — comenzando con una tasa de aprendizaje baja y aumentándola durante los primeros miles de pasos — seguida de un cronograma de decaimiento coseno que reduce gradualmente la tasa de aprendizaje hacia el final del entrenamiento. El calentamiento evita que los grandes gradientes aleatorios del inicio del entrenamiento produzcan actualizaciones descontroladas antes de que el modelo haya aprendido representaciones útiles. Equivocarse con el cronograma de tasa de aprendizaje para un tamaño de lote y de modelo determinados es una de las causas más comunes de ejecuciones con bajo rendimiento.

Fuente: Hoffmann et al. (2022), "Training Compute-Optimal Large Language Models," DeepMind — documenta la relación entre el tamaño del lote, la tasa de aprendizaje y el número óptimo de tokens de entrenamiento, con un análisis de sensibilidad de hiperparámetros.

La inestabilidad de gradientes a gran escala es un problema distinto de la mala configuración de la tasa de aprendizaje. En modelos muy grandes, los gradientes pueden volverse extremadamente grandes (explosión de gradiente) o extremadamente pequeños (desvanecimiento de gradiente) debido a la profundidad de la red y a la naturaleza multiplicativa de la retropropagación a través de muchas capas. La contramedida estándar es el recorte de gradiente — si la norma global del gradiente supera un umbral (típicamente 1,0), todos los gradientes se reescalan proporcionalmente para devolver la norma dentro de los límites. Esto evita que lotes individuales defectuosos produzcan actualizaciones de peso destructivas. Todos los grandes marcos de entrenamiento (PyTorch FSDP, JAX/XLA, Megatron-LM) aplican el recorte de gradiente por defecto en el entrenamiento de modelos grandes.

La contaminación de datos es un modo de fallo más sutil que no siempre se detecta durante una ejecución. La contaminación ocurre cuando los datos de un benchmark de evaluación — las preguntas y respuestas con las que se probará al modelo — están presentes en el corpus de entrenamiento. Un modelo contaminado puede puntuar bien en los benchmarks sin haber aprendido realmente la capacidad subyacente, engañando al equipo de desarrollo sobre la calidad del modelo. La detección requiere una deduplicación cuidadosa entre los datos de entrenamiento y los conjuntos de evaluación, algo nada trivial dado que los datos de benchmark pueden aparecer en rastreos web a través de discusiones en foros, guías de estudio y texto reproducido. Tanto el informe técnico de Gemini de Google como el informe de LLaMA 3 de Meta describen pasos explícitos de deduplicación frente a benchmarks comunes, reconociendo este riesgo como real.

Lo que realmente vigilan los ingenieros en el panel de monitoreo durante una ejecución de preentrenamiento de varias semanas incluye: la pérdida de entrenamiento (media móvil suavizada y sin procesar), la pérdida de validación sobre datos reservados (una muestra separada no vista durante el entrenamiento, usada para detectar sobreajuste), la norma del gradiente (vigilando picos), la utilización de la GPU (vigilando fallos de hardware que dejan GPU inactivas), el uso de memoria (acercándose a errores de OOM — falta de memoria) y las métricas de temperatura del clúster de GPU (el throttling térmico reduce el rendimiento efectivo). En Meta, Google, OpenAI y Anthropic, equipos dedicados realizan monitoreo de 24 horas durante las ejecuciones activas de preentrenamiento, porque los fallos de hardware en un clúster de miles de GPU no son eventos raros: son esperados. Una sola GPU que se desconecta en medio de un paso hacia adelante debe detectarse y sortearse sin reiniciar toda la ejecución.

Los fallos de hardware y la tolerancia a fallos se abordan mediante el checkpointing distribuido y la reprogramación automática de tareas. En un clúster de 8.000 GPU, los fallos individuales de GPU pueden ocurrir cada pocos días. Los marcos de entrenamiento están diseñados para detectarlos, guardar el estado actual del modelo, reiniciar el nodo defectuoso con una GPU de repuesto y reanudar desde el último checkpoint — idealmente sin intervención humana y con una pérdida mínima de tiempo de entrenamiento. El artículo sobre la infraestructura de entrenamiento de Llama 3 de Meta describió la detección y recuperación automática de fallos como una inversión de ingeniería significativa, señalando que la utilización efectiva de la GPU (el tiempo realmente dedicado al entrenamiento frente a la recuperación y el reinicio) es una métrica de eficiencia clave que distingue a las infraestructuras de entrenamiento maduras de las más nuevas.

Fuente: Meta AI (2024), "The Llama 3 Herd of Models," informe técnico — detalla la infraestructura de entrenamiento, los mecanismos de tolerancia a fallos y las prácticas de monitoreo usadas en las ejecuciones de entrenamiento de Llama 3 de 70.000 millones y 405.000 millones de parámetros.

Preguntas frecuentes

Q: ¿Cuánto tiempo se tarda en entrenar un modelo de lenguaje grande? A: Preentrenar un modelo de frontera (más de 400.000 millones de parámetros) con 10 billones de tokens típicamente toma entre 3 y 6 meses de operación continua del clúster de GPU. Los modelos más pequeños (7.000 millones de parámetros) pueden preentrenarse en días o semanas. El ajuste fino y el RLHF añaden semanas al cronograma de los modelos grandes.

Q: ¿Por qué no se puede simplemente entrenar con más datos indefinidamente? A: Las leyes de escalado de Chinchilla muestran rendimientos decrecientes al añadir datos más allá de la proporción óptima de cómputo de aproximadamente 20 tokens por parámetro. Más allá de la cantidad de datos, quedarse sin datos de alta calidad es una restricción real: las estimaciones sugieren que las existencias de texto en inglés de alta calidad de internet podrían quedar completamente utilizadas por los laboratorios de frontera hacia 2026-2028.

Q: ¿Cuál es la diferencia entre el preentrenamiento y el ajuste fino? A: El preentrenamiento consiste en entrenar con un corpus masivo y diverso para dotar al modelo de un conocimiento amplio del mundo, usando miles de millones de dólares en cómputo. El ajuste fino es una segunda etapa más corta y barata sobre un conjunto de datos más pequeño y curado que moldea cómo responde el modelo a los usuarios. Se necesita el preentrenamiento primero; el ajuste fino por sí solo sobre un modelo inicializado aleatoriamente no produce nada útil.

Q: ¿El RLHF hace que los modelos sean más seguros? A: El RLHF reduce comportamientos dañinos específicos que los anotadores marcaron durante el etiquetado de preferencias, pero no garantiza seguridad en un sentido general. Los modelos aún pueden ser vulnerados mediante jailbreaks, aún pueden producir desinformación con aparente confianza y pueden reflejar los sesgos de sus anotadores. El RLHF es alineación, no una prueba de seguridad.

Q: ¿Qué es un parámetro en una red neuronal? A: Un parámetro es un peso numérico dentro del modelo — un único número de coma flotante que se ajusta durante el entrenamiento. Un modelo de 70.000 millones de parámetros tiene 70.000 millones de esos números. A 2 bytes cada uno (precisión bfloat16), almacenar 70.000 millones de parámetros requiere 140 GB de memoria, razón por la cual los modelos grandes necesitan múltiples GPU.

Q: ¿Pueden las empresas pequeñas entrenar modelos de frontera? A: Los costos de cómputo y datos para los modelos de frontera (clase GPT-4, clase Gemini Ultra) están efectivamente fuera del alcance de organizaciones sin cientos de millones de dólares en infraestructura dedicada. Sin embargo, el ecosistema de pesos abiertos (LLaMA 3, Mistral, Qwen, Falcon) permite que organizaciones más pequeñas ajusten finamente modelos ya preentrenados a costos que van desde cientos hasta decenas de miles de dólares.

---

Sigue leyendo:

• Why AI Models Give Different Answers to the Same Question
• How Large Language Models Work, Explained
• What Is Machine Learning?