Utilizar ChatGPT, Gemini, Claude u otros asistentes de inteligencia artificial no exige saber estadística. Construir sistemas de IA es otra historia. Detrás de un clasificador, un sistema de recomendación o un gran modelo de lenguaje (LLM) aparecen probabilidades, distribuciones, muestreo, funciones de pérdida y medidas de incertidumbre. Un ingeniero de IA no necesita convertirse en estadístico, pero entender estos conceptos permite saber por qué un modelo aprende, cuándo una mejora puede ser engañosa y por qué un sistema que funciona perfectamente durante las pruebas puede fallar cuando llega a producción.
Las claves de la estadística para ingenieros de IA en 20 segundos
- Los modelos aprenden patrones estadísticos de los datos utilizados durante su entrenamiento.
- Distribuciones, varianza y muestreo ayudan a detectar problemas antes de entrenar una IA.
- Correlación no significa causalidad y puede llevar a modelos que aprenden relaciones equivocadas.
- Un resultado mejor en un benchmark no siempre representa una mejora estadísticamente sólida.
- Calibración y teoría de la información ayudan a interpretar probabilidades, incertidumbre y confianza.
La popularización de la IA generativa puede crear la impresión de que desarrollar inteligencia artificial consiste principalmente en conocer modelos, prompts, API y nuevos frameworks. Son herramientas importantes, pero debajo de esa capa continúa funcionando una disciplina mucho más antigua.
La estadística ayuda a responder preguntas que aparecen constantemente durante el desarrollo: ¿los datos representan realmente el problema?, ¿por qué está sobreajustando el modelo?, ¿esa mejora del 0,3 % significa algo?, ¿puede confiarse en una predicción con un 90 % de confianza?
Estas son ocho ideas especialmente útiles para empezar.
1. Las distribuciones explican cómo están organizados los datos
Una distribución de probabilidad describe cómo se reparten los posibles valores de una variable. Permite observar qué resultados son habituales, cuáles son raros, dónde se concentran y cuánto varían.
Es uno de los primeros conceptos que conviene entender porque diferentes problemas tienen diferentes estructuras estadísticas.
Una distribución normal o gaussiana resulta apropiada para numerosas variables continuas concentradas alrededor de una media. Bernoulli permite representar un resultado binario, mientras una distribución binomial puede modelar el número de éxitos en un conjunto de ensayos.
Las distribuciones categóricas sirven para variables con diferentes clases, como perro, gato o pájaro. Poisson aparece al trabajar con el número de sucesos producidos durante determinado intervalo. Una distribución uniforme asigna la misma probabilidad a los valores dentro de un rango.
El ingeniero no necesita elegir una distribución explícitamente en todos los proyectos de machine learning, pero comprender cómo están distribuidos los datos y las predicciones ayuda a escoger modelos, funciones de pérdida y métricas adecuadas.
También permite reconocer anomalías cuando los datos reales dejan de parecerse a aquellos utilizados durante el entrenamiento.
2. El teorema de Bayes permite actualizar lo que sabemos
El teorema de Bayes tiene detrás una idea bastante intuitiva: una nueva evidencia puede cambiar la probabilidad que se había asignado inicialmente a algo.
Un filtro de correo basura ofrece un ejemplo sencillo.
Antes de analizar un mensaje existe determinada probabilidad de que sea spam. Esa es la probabilidad previa o prior. Después aparecen nuevas evidencias, como determinadas palabras, el remitente o ciertos patrones. Esa información permite calcular una probabilidad posterior.
El procedimiento resulta útil porque los sistemas de IA trabajan continuamente bajo incertidumbre.
Más importante que memorizar inmediatamente la fórmula de Bayes es comprender su lógica: una creencia inicial debe poder modificarse cuando aparece información nueva.
Este principio está detrás de numerosos métodos probabilísticos y resulta útil para interpretar sistemas de clasificación, diagnóstico, detección de anomalías y toma de decisiones.
3. Esperanza, varianza y pérdida explican buena parte del entrenamiento
La esperanza matemática puede entenderse, de forma simplificada, como el resultado medio esperado de una variable aleatoria. La varianza mide cuánto se dispersan sus valores alrededor de esa media.
Ambas aparecen constantemente en aprendizaje automático.
La conocida relación entre sesgo y varianza ayuda a entender dos problemas clásicos. Un modelo demasiado sencillo puede sufrir underfitting y no capturar adecuadamente los patrones. Otro excesivamente ajustado a los datos utilizados durante el entrenamiento puede tener alta varianza y funcionar peor con ejemplos nuevos.
La varianza también aparece durante el propio entrenamiento. Los gradientes calculados con diferentes lotes de datos pueden ser ruidosos, y modificar el tamaño del batch puede cambiar su comportamiento.
A esto se añade la función de pérdida, que cuantifica el error que intenta reducir el entrenamiento.
No existe una pérdida universal. El error cuadrático medio penaliza las distancias entre valores reales y predichos y es habitual en determinados problemas de regresión. La entropía cruzada aparece habitualmente en clasificación y también es fundamental en el entrenamiento de modelos de lenguaje.
Que la pérdida disminuya es una buena señal, pero nunca debería ser la única.
4. Correlación no significa causalidad
Es una de las advertencias estadísticas más conocidas y continúa provocando errores.
Dos variables pueden evolucionar conjuntamente sin que una provoque la otra.
Las ventas de helados y las quemaduras solares aumentan durante el verano. Existe una correlación, pero comer helado no provoca quemaduras. Una tercera variable, las condiciones propias del verano, influye en ambas.
Ese tercer elemento puede actuar como factor de confusión o confounder.
Los modelos de aprendizaje automático son especialmente buenos encontrando patrones. El problema es que encontrar una asociación estadística no equivale a comprender por qué existe.
Esto puede provocar fenómenos como data leakage, cuando el entrenamiento utiliza información que en la práctica no estaría disponible al realizar una predicción. También aparecen sesgos de supervivencia o situaciones como la paradoja de Simpson, donde una tendencia observada en los datos agregados puede cambiar al dividirlos en grupos.
Un modelo puede aprender perfectamente una correlación equivocada y obtener resultados aparentemente excelentes hasta que cambian las condiciones.
5. Los p-valores también sirven para comparar modelos
Un nuevo modelo obtiene un 90,3 % de aciertos frente al 90 % del anterior. ¿Es realmente mejor?
Depende.
Si la prueba utiliza solamente 500 ejemplos, esa pequeña diferencia podría deberse simplemente al azar. La estadística permite determinar hasta qué punto existe evidencia de una mejora real.
Aquí aparecen conceptos como hipótesis nula, p-valor, potencia estadística y comparaciones múltiples.
El p-valor es particularmente propenso a interpretaciones incorrectas. No representa la probabilidad de que la hipótesis nula sea cierta. Indica cómo de sorprendente sería obtener un resultado como el observado, o más extremo, bajo determinadas condiciones si la hipótesis nula fuera cierta.
La potencia estadística ayuda a valorar la capacidad de una prueba para detectar una diferencia real.
Y las comparaciones múltiples introducen otro problema. Si se prueban suficientes modelos, configuraciones y métricas, aumenta la probabilidad de encontrar aparentemente algo extraordinario simplemente por azar.
Esto importa también al interpretar benchmarks de inteligencia artificial. Una cifra ligeramente superior no demuestra automáticamente que un modelo sea mejor de manera general.
6. Una mala muestra puede arruinar un buen modelo
Un modelo solamente puede aprender a partir de los datos disponibles.
Si esos datos representan mal el entorno donde posteriormente funcionará la IA, mejorar la arquitectura puede servir de poco.
El sesgo de selección aparece cuando determinados grupos o situaciones están sobrerrepresentados o ausentes. El desequilibrio entre clases genera otro problema habitual.
Supóngase un conjunto donde el 95 % de los ejemplos pertenece a la clase A y solamente el 5 % a la B. Un sistema que responda siempre A alcanzaría una precisión del 95 % y, pese a ello, podría resultar completamente inútil.
También está la conocida suposición i.i.d.: ejemplos independientes e idénticamente distribuidos. Muchos métodos estadísticos parten de ella, pero los datos reales no siempre cumplen esa condición.
Series temporales, sesiones de usuarios o comportamientos sucesivos pueden estar relacionados entre sí.
Por eso la forma de recopilar y separar los datos puede ser tan importante como el algoritmo utilizado. Una IA puede conseguir un 99 % en las pruebas y fracasar posteriormente porque el conjunto de evaluación no representaba el mundo real.
7. Entropía, entropía cruzada y divergencia KL
La teoría de la información proporciona herramientas para cuantificar incertidumbre y comparar distribuciones de probabilidad.
La entropía mide la incertidumbre asociada a una distribución. Cuanto menos predecible sea el resultado, mayor puede ser esa entropía.
La entropía cruzada permite medir la discrepancia entre una distribución objetivo y las probabilidades asignadas por el modelo. Por eso aparece de forma habitual como función de pérdida en clasificación y modelos de lenguaje.
La divergencia de Kullback-Leibler (KL) cuantifica la diferencia entre dos distribuciones de probabilidad, aunque técnicamente no es una distancia simétrica. Aparece en técnicas como los autoencoders variacionales (VAE), destilación y diferentes procedimientos utilizados durante el desarrollo de modelos.
Estos conceptos pueden parecer inicialmente muy teóricos, pero permiten comprender mejor qué está intentando optimizar realmente una IA durante su entrenamiento.
8. Calibración: tener razón no significa saber cuándo se tiene razón
Un modelo puede obtener una precisión elevada y ser malo estimando su propia incertidumbre.
Aquí entra la calibración.
Supóngase que se seleccionan 100 predicciones en las que un modelo asignó aproximadamente un 80 % de probabilidad. Un sistema bien calibrado debería acertar cerca de 80 veces dentro de ese conjunto.
Si solamente acierta 60, está siendo demasiado confiado. Si acierta 95, sus probabilidades están infravalorando su rendimiento.
Precisión y calibración miden cosas diferentes.
Esto adquiere especial importancia cuando la probabilidad generada por el modelo se utiliza posteriormente para tomar decisiones. No basta con saber cuántas veces acierta: puede ser necesario conocer hasta qué punto puede confiarse en su nivel de seguridad.
Los diagramas de fiabilidad y métricas como el Expected Calibration Error (ECE) permiten analizar este comportamiento.
La cuestión adquiere todavía más peso cuando una IA participa en sistemas de evaluación de riesgos, seguridad o decisiones donde un error puede tener consecuencias importantes.
Entender estadística ayuda a entender por qué falla una IA
Las arquitecturas cambiarán. También lo harán los modelos, las herramientas y buena parte de los frameworks que hoy utilizan los ingenieros.
Las preguntas estadísticas permanecen.
Cuando un sistema comienza a comportarse de forma inesperada, conviene comprobar si ha cambiado la distribución de los datos, cuál es la tasa base del fenómeno, si existe alguna variable de confusión, si el modelo está correctamente calibrado o si una aparente mejora podría explicarse simplemente por ruido.
También ayuda a evitar una de las trampas más habituales del desarrollo de inteligencia artificial: confundir una buena métrica con un buen sistema.
Un modelo puede reducir su función de pérdida, superar un benchmark y alcanzar una precisión elevada mientras aprende patrones equivocados o trabaja sobre datos que no representan aquello que encontrará después.
Aprender estadística no significa memorizar cientos de fórmulas antes de escribir una línea de código. Significa comprender qué representan los datos, cómo medir la incertidumbre y qué evidencias son necesarias antes de concluir que una IA realmente ha mejorado.
Para utilizar inteligencia artificial puede no ser imprescindible. Para comprender qué está ocurriendo detrás del modelo, resulta mucho más difícil prescindir de ella.
Preguntas frecuentes
¿Es necesario saber estadística para ser ingeniero de IA?
No es necesario ser estadístico, pero sí comprender conceptos básicos de probabilidad, distribuciones, muestreo, varianza y evaluación de modelos para interpretar correctamente su comportamiento.
¿Qué estadística debería aprender primero alguien que empieza en IA?
Distribuciones de probabilidad, esperanza y varianza constituyen una buena base. Después pueden incorporarse Bayes, muestreo, contrastes de hipótesis, teoría de la información y calibración.
¿Qué diferencia existe entre precisión y calibración?
La precisión mide con qué frecuencia acierta un modelo. La calibración analiza si las probabilidades o niveles de confianza que proporciona corresponden con su frecuencia real de acierto.
¿Por qué un modelo puede funcionar bien en pruebas y mal en producción?
Entre otras razones, porque los datos de entrenamiento y evaluación pueden no representar adecuadamente los datos reales, existir sesgos de selección, data leakage o producirse un cambio de distribución.
