El gradiente (\(\nabla\)) es un vector que agrupa todas las derivadas parciales de una función. Si una función tiene dos variables, su gradiente tendrá dos componentes, cada una encargada de medir la pendiente en la dirección de su respectivo eje coordenado.
\[f(x, y) = x^2 + y^2\]
El vector gradiente se construye uniendo ambas pendientes:
Geométricamente, este vector nos da la clave del plano tangente. Al contener las pendientes de las dos líneas principales que cruzan el punto, el gradiente define por completo la inclinación y orientación de ese plano en el espacio tridimensional.
Para optimizar y encontrar los puntos mínimos (o máximos) de una función, la regla de oro sigue siendo la misma tanto en una como en múltiples dimensiones: debemos buscar el lugar donde la pendiente sea cero.
Para que un punto sea el mínimo absoluto, no basta con que la función deje de cambiar en una sola dirección; debe dejar de cambiar en todas las variables a la vez.Geométricamente, esto significa que el plano tangente en el punto mínimo es perfectamente plano y paralelo al suelo (al plano XY). Para que un plano sea completamente horizontal, las pendientes de las líneas que lo sostienen deben ser cero simultáneamente.
Por lo tanto, el punto mínimo es aquel donde todas las derivadas parciales valen cero, lo que hace que el vector gradiente sea el vector nulo:
import numpy as npimport matplotlib.pyplot as plt# 1. Definir la funcióndef f(X, Y):return X**2+ Y**2# Crear la malla para la superficiex = np.linspace(-2, 2, 50)y = np.linspace(-2, 2, 50)X, Y = np.meshgrid(x, y)Z_superficie = f(X, Y)# 2. Definir el plano tangente en el mínimo (0,0,0)# Como las derivadas parciales en (0,0) son cero, la ecuación del plano es z = 0Z_plano_minimo = np.zeros_like(X)# 3. Graficar en 3Dfig = plt.figure(figsize=(10, 7))ax = fig.add_subplot(111, projection='3d')# Dibujar el paraboloide (azul translúcido)ax.plot_surface(X, Y, Z_superficie, cmap='Blues', alpha=0.6, edgecolor='none')# Dibujar el plano tangente horizontal en el fondo (verde translúcido)# ¡Corregido! Quitamos el argumento 'name' que causaba el AttributeErrorax.plot_surface(X, Y, Z_plano_minimo, color='green', alpha=0.4)# Marcar el punto mínimo (esfera roja)ax.scatter([0], [0], [0], color='red', s=150, label='Mínimo Absoluto (Gradiente = [0, 0])', zorder=5)
2 Resolución análitica
Tenemos tres puntos de datos: \((1, 5)\), \((2, 7)\) y \((3, 8)\).La función del modelo es una línea recta:
\[f(x) = mx + b\]
Queremos encontrar los valores óptimos de \(m\) (la pendiente) y \(b\) (la intersección) que minimicen la distancia cuadrática a estos tres puntos.
\[E(m, b) = (m + b - 5)^2 + (2m + b - 7)^2 + (3m + b - 8)^2\]
Como tiene dos variables (\(m\) y \(b\)), el error forma un paraboloide en 3D. El mínimo absoluto estará donde ambas derivadas parciales sean cero.
2.0.1 Derivada Parcial respecto a \(m\) (\(\frac{\partial E}{\partial m}\))
Para derivar cada bloque respecto a \(m\), aplicamos la Regla de la Cadena (bajamos el exponente \(2\), dejamos lo de adentro igual, y multiplicamos por la derivada de lo de adentro respecto a \(m\)):
\[\frac{\partial E}{\partial m} = 2(m + b - 5)\cdot(1) + 2(2m + b - 7)\cdot(2) + 2(3m + b - 8)\cdot(3)\]
Ahora, desarrollamos multiplicando los coeficientes de afuera hacia adentro:
La función del modelo que minimiza el error cuadrático para los tres puntos es:
\[f(x) = 1.5x + 3.67\]
Para \(x = 1\): El modelo predice \(1.5(1) + 3.67 = \mathbf{5.17}\). El valor real era \(5\). El error es de \(+0.17\)
Para \(x = 2\): El modelo predice \(1.5(2) + 3.67 = \mathbf{6.67}\). El valor real era \(7\). El error es de \(-0.33\)
Para \(x = 3\): El modelo predice \(1.5(3) + 3.67 = \mathbf{8.17}\). El valor real era \(8\). El error es de \(+0.17\)
Si elevas esos tres errores al cuadrado y los sumas, obtienes el valor más bajo posible para este conjunto de puntos (\(0.17^2 + (-0.33)^2 + 0.17^2 \approx \mathbf{0.166}\)).
¿Cómo puede ser el gradiente \([0,0]\) (lo que significa que la pendiente es cero y ya no hay cambios) si el modelo se sigue equivocando en los puntos reales?. El gradiente igual a \([0,0]\) ocurre en un gráfico completamente diferente al del modelo: el gráfico de la función de error \(E(m, b)\).
3 Descenso del gradiente
Cuando los modelos tienen millones de datos y parámetros, resolver el sistema de ecuaciones analíticamente es imposible para un ordenador porque requiere demasiada memoria. El descenso de gradiente es el método iterativo (paso a paso) que se usa en su lugar: empezamos en un punto aleatorio y vamos por la gráfica del error poco a poco.
Para ejecutar el descenso de gradiente necesitamos definir tres cosas:
El punto de partida (Inicialización): Como no sabemos la respuesta, empezamos con valores totalmente aleatorios. Vamos a suponer que el modelo empieza con una pendiente \(m_0 = 0\) y una intersección \(b_0 = 0\).
Las fórmulas del Gradiente: Ya las calculamos en el paso anterior usando derivadas parciales:
El Learning Rate (Tasa de Aprendizaje, \(\alpha\)): Es el tamaño del paso que daremos hacia abajo en cada iteración. Si es muy grande, podemos pasarnos de largo el mínimo; si es muy pequeño, tardaremos mucho en llegar al mínimo. Vamos a elegir un valor prudente: \(\alpha = 0.01\).
La regla de actualización para dar un paso hacia el mínimo es:
El vector gradiente en este momento es \(\nabla E = \begin{bmatrix} -86 \\ -40 \end{bmatrix}\). Como ambos números son negativos, nos están diciendo que si aumentamos \(m\) y \(b\), el error va a bajar.
Multiplicamos el gradiente por nuestro learning rate (\(0.01\)) y lo restamos a los valores actuales:
Al acabar la primera iteración, nuestro modelo ha cambiado, Pasó de ser \(y = 0x + 0\) a ser \(y = 0.86x + 0.40\). El error total ha disminuido porque nos hemos movido hacia el mínimo de la función de error.
3.0.2 Iteración 2: Ajustando la Dirección
Ahora nuestros parámetros actuales son \(m = 0.86\) y \(b = 0.40\). Repetimos exactamente el mismo proceso mecánico.
Sustituimos los nuevos valores en las derivadas parciales:
Las pendientes numéricas (\(-57.12\) y \(-27.28\)) son más pequeñas que en la primera iteración (\(-86\) y \(-40\)). Esto significa geométricamente que la ladera se está volviendo menos empinada; nos estamos aproximando al fondo del valle.
Al terminar la segunda iteración, nuestra recta es \(y = 1.43x + 0.67\).
Si continuáramos haciendo esto durante unas 50 o 100 iteraciones más:
El valor de \(m\) se irá acercando cada vez más despacio a \(1.5\).
El valor de \(b\) seguirá subiendo gradualmente hacia \(3.67\).
A medida que nos acerquemos a esos números ideales, las derivadas parciales se irán aproximando a \(0\). Al valer casi cero, el término \(\alpha \cdot \text{gradiente}\) se volverá tan infinitamente pequeño que los parámetros dejarán de cambiar.
