Cuál es la función objetivo:
* Un objetivo: Es una función matemática que cuantifica cuán "bueno" es un modelo para realizar su tarea prevista. Define formalmente lo que el modelo está tratando de lograr.
* Una puntuación: Toma las predicciones del modelo y las compara con los valores objetivo reales (verdad del suelo). Según esta comparación, calcula una puntuación (un solo número).
* Minimización o maximización: Dependiendo de la definición, la función objetivo está diseñada para ser * minimizada * (por ejemplo, error, pérdida, costo) o * maximizado * (por ejemplo, precisión, ganancia, recompensa). El objetivo del proceso de optimización es encontrar los parámetros del modelo que conducen a la mejor puntuación posible (ya sea la más baja o más alta).
papel en la optimización:
1. Definición del éxito: La función objetivo * define lo que significa que el modelo sea exitoso. * Si el objetivo es minimizar el error cuadrático medio entre las predicciones y los valores reales, entonces el modelo se considera exitoso cuando predice valores que están muy cerca de los valores reales, en promedio.
2. Proporcionando un objetivo: La función objetivo sirve como un objetivo * para el algoritmo de optimización. * El trabajo del algoritmo es ajustar los parámetros del modelo (por ejemplo, pesos en una red neuronal, coeficientes en una regresión lineal) de tal manera que la función objetivo mejore (es decir, disminuye si minimiza o aumenta si maximiza).
3. Guiar la búsqueda: La forma de la función objetivo (sus derivados y la curvatura) guía la búsqueda del algoritmo de optimización de los mejores parámetros del modelo. Algoritmos como el descenso de gradiente Use el gradiente (la pendiente) de la función objetivo para determinar la dirección en la que ajustar los parámetros para lograr una mejor puntuación.
4. Evaluación del rendimiento: La función objetivo se puede usar para * evaluar el rendimiento de diferentes modelos o diferentes conjuntos de parámetros * para el mismo modelo. Al comparar los valores de la función objetivo para diferentes configuraciones, puede seleccionar el modelo que funciona mejor según sus criterios definidos.
Tipos comunes de funciones objetivas:
* regresión:
* Error cuadrado medio (MSE): Promedio de las diferencias al cuadrado entre valores predichos y reales. Bueno para medir la precisión general de la predicción.
* Error absoluto medio (MAE): Promedio de las diferencias absolutas entre los valores predichos y reales. Más robusto para los valores atípicos que MSE.
* Clasificación:
* pérdida de entropía cruzada (pérdida de registro): Mide la disimilitud entre las distribuciones de probabilidad predichas y las etiquetas verdaderas. Comúnmente utilizado en regresión logística y redes neuronales.
* Pérdida de bisagra: Utilizado en máquinas de vectores de soporte (SVM). Penaliza clasificaciones incorrectas y fomenta un margen entre las clases.
* Clustering:
* Suma de cuadrados dentro del grupo (WCSS): Mide la compacidad de los grupos. Algoritmos como K-Means apuntan a minimizar WCSS.
* Aprendizaje de refuerzo:
* Función de recompensa: Define la recompensa (o penalización) que recibe un agente por tomar ciertas acciones en un entorno. El objetivo del agente es maximizar la recompensa acumulada.
Consideraciones importantes:
* Elección de la función objetivo: La elección de la función objetivo es * crítica * y depende en gran medida de la tarea específica de aprendizaje automático y el comportamiento deseado del modelo. Una función objetivo mal elegida puede conducir a un modelo que funciona bien en los datos de capacitación, pero generaliza mal a los datos invisibles, o que no se alinea con los objetivos reales de la aplicación.
* Regularización: Las funciones objetivas a menudo se aumentan con * términos de regularización * (por ejemplo, regularización L1 o L2). La regularización penaliza los modelos complejos y ayuda a prevenir el sobreajuste, lo que lleva a una mejor generalización. El término de regularización se agrega al componente de pérdida principal de la función objetivo.
* Algoritmo de optimización: La elección del * algoritmo de optimización * debe ser compatible con la función objetivo. Algunos algoritmos son más adecuados para ciertos tipos de funciones objetivas (por ejemplo, convexo versus no convexo).
* Mínimos locales (optimización no convexa): Muchas funciones objetivas en el aprendizaje automático, especialmente en el aprendizaje profundo, son *no convexos *. Esto significa que el panorama de optimización tiene múltiples mínimos locales, y el algoritmo de optimización puede quedarse atascado en uno de estos mínimos locales en lugar de encontrar el mínimo global (la mejor solución posible). Las técnicas como la inicialización cuidadosa, el impulso y las tasas de aprendizaje adaptativo se utilizan para mitigar este problema.
En resumen, la función objetivo es el corazón del proceso de optimización en el aprendizaje automático. Define lo que debe lograr el modelo, guía la búsqueda de los mejores parámetros del modelo y nos permite evaluar y comparar diferentes modelos.