La diferencia entre parámetros e hiperparámetros en el aprendizaje automático

Los parámetros del modelo y los hiperparámetros del modelo en el aprendizaje automático son diferentes en términos de funciones y fuentes. Los hiperparámetros del modelo a menudo se denominan parámetros del modelo, lo que resulta muy confuso. principiantes. Este artículo proporciona las definiciones de los parámetros del modelo y los hiperparámetros del modelo, los compara y señala la diferencia esencial entre los dos: los parámetros del modelo son variables de configuración dentro del modelo y los valores de los parámetros del modelo se pueden estimar a partir de los datos de los hiperparámetros del modelo; Es una variable de configuración fuera del modelo y el valor del parámetro debe establecerse manualmente.

Cuando investigamos, nos topamos con muchos términos. En ocasiones aparecen términos con el mismo nombre en diferentes campos de estudio. Por ejemplo, los términos "parámetros del modelo" e "hiperparámetros del modelo" que se utilizan a menudo en estadística y economía también existen en el aprendizaje automático.

Los parámetros del modelo y los hiperparámetros en el aprendizaje automático son diferentes en sus funciones y orígenes. Los principiantes que no saben lo que son a menudo tienen dificultades para aprender, especialmente aquellos en los campos de la estadística y la economía para principiantes. . ciencias económicas.

En este artículo, analizaremos los términos "modelo paramétrico" y "modelo hiperparamétrico" para proporcionar definiciones claras de estos términos al aplicar el aprendizaje automático.

Primero, echemos un vistazo a qué son los "parámetros".

Los parámetros son clave para los algoritmos de aprendizaje automático y son parte de cómo el modelo aprende de los datos de entrenamiento históricos.

"Parámetro" en estadística:

En estadística, se puede asumir una distribución de una variable, como una distribución gaussiana. Los dos parámetros de una distribución gaussiana son la media (μ) y la desviación estándar (sigma). Esto es válido en el aprendizaje automático, donde estos parámetros pueden estimarse a partir de los datos y utilizarse como parte de un modelo predictivo.

"Parámetros" en programación:

En programación se pueden pasar parámetros a funciones. En este caso, el parámetro es un parámetro de función que puede tener un rango de valores. En el aprendizaje automático, el modelo específico con el que está trabajando es la función, que requiere parámetros para hacer predicciones sobre nuevos datos.

¿Cuál es la relación entre "parámetros" y "modelos"?

Según la literatura clásica sobre aprendizaje automático, un modelo puede considerarse como una hipótesis y los parámetros son ajustes específicos de la hipótesis basados ​​en un conjunto de datos específico.

Que el número de parámetros de un modelo sea fijo o variable determina si se trata de un modelo "paramétrico" o "no paramétrico".

¿Qué son los parámetros del modelo?

En pocas palabras, un parámetro de modelo es una variable de configuración en el modelo cuyo valor se puede estimar a partir de datos.

Específicamente, los parámetros del modelo tienen las siguientes características:

Las predicciones del modelo requieren parámetros del modelo.

Los valores de los parámetros del modelo pueden definir funciones del modelo.

Los parámetros del modelo se obtienen mediante estimación de datos o aprendizaje de datos.

Los profesionales generalmente no configuran manualmente los parámetros del modelo.

Los parámetros del modelo generalmente se guardan como parte del modelo aprendido.

Los parámetros del modelo a menudo se estiman mediante un algoritmo de optimización, que es una búsqueda eficiente de posibles valores de los parámetros.

Algunos ejemplos de parámetros del modelo incluyen:

Pesos en redes neuronales artificiales.

Vectores de soporte en máquinas de vectores de soporte.

Coeficientes en regresión lineal o regresión logística.

¿Qué son los hiperparámetros del modelo?

Los hiperparámetros del modelo son configuraciones externas al modelo y sus valores no se pueden obtener a partir de la estimación de datos.

Las características específicas son las siguientes:

Los hiperparámetros del modelo se utilizan generalmente en el proceso de estimación de los parámetros del modelo.

Los profesionales suelen hacer referencia directa a los hiperparámetros del modelo.

Los hiperparámetros del modelo a menudo se pueden establecer mediante heurísticas.

Los hiperparámetros del modelo a menudo se ajustan en función del problema de modelado predictivo específico.

Cómo obtener valores óptimos: No podemos conocer los valores óptimos de los hiperparámetros del modelo para un problema específico. Sin embargo, podemos encontrar su valor óptimo usando reglas generales, o copiar valores usados ​​en otros problemas, o encontrar su valor óptimo mediante métodos iterativos.

Algunos ejemplos de hiperparámetros del modelo incluyen:

La tasa de aprendizaje para entrenar una red neuronal.

Hiperparámetros C y sigma para máquinas de vectores de soporte.

k en el barrio k.

"Parámetros del modelo" e "Hiperparámetros del modelo"

La conexión entre los dos:

Al ajustar un algoritmo de aprendizaje automático para un problema específico, p. En una búsqueda de cuadrícula o una búsqueda aleatoria, ajusta los hiperparámetros de su modelo o comando para descubrir los parámetros del modelo que realizan las predicciones más precisas. Muchos parámetros importantes del modelo no pueden estimarse directamente a partir de los datos. Por ejemplo, en un modelo de clasificación de vecinos más cercanos K... Este tipo de parámetro del modelo se denomina parámetro de ajuste porque no existe una fórmula analítica disponible para calcular su valor apropiado.

Diferencia:

Los hiperparámetros del modelo a menudo se denominan parámetros del modelo, lo cual es fácilmente engañoso. Una buena regla general para resolver este problema es la siguiente: si tiene que especificar manualmente un "parámetro del modelo", probablemente sea un hiperparámetro del modelo.

Resumen

Lea este artículo y comprenderá la definición clara y la diferencia entre los parámetros del modelo y los hiperparámetros del modelo.

En resumen, los parámetros del modelo se estiman automáticamente a partir de los datos, mientras que los hiperparámetros del modelo se configuran y utilizan manualmente en el proceso de estimación de los parámetros del modelo.