Matemáticas y Backpropagation de la Capa Convolucional

Navegación en esta sección

Capítulo conceptual base: Redes neuronales convolucionales (CNN) — fundamentos de la operación de convolución, padding, stride, múltiples canales y pooling.

Estás en Matemáticas de la capa convolucional (cálculo numérico manual de la propagación hacia adelante, retropropagación de pesos compartidos y gradient checking).

1 Caso 1: Un canal de entrada y un filtro (\(1 \to 1\))

Para comprender a fondo cómo aprende una capa convolucional, comenzaremos con el escenario más directo: una imagen de un solo canal y un único filtro convolucional. Calcularemos paso a paso todas las operaciones del ciclo de entrenamiento (forward pass, cálculo de coste, backward pass, actualización de parámetros y gradient checking).

1.1 Planteamiento del problema: red, entrada y función de coste

1. Entrada (\(X\)): Una matriz bidimensional en escala de grises de \(5 \times 5\):

\[ X = \begin{bmatrix} 7 & 2 & 3 & 3 & 8 \\ 4 & 5 & 3 & 8 & 4 \\ 3 & 3 & 2 & 8 & 4 \\ 2 & 8 & 7 & 2 & 7 \\ 5 & 4 & 4 & 5 & 4 \end{bmatrix} \]

1. Capa convolucional:

2. Filtro / Kernel (\(W\)): Una matriz de \(3 \times 3\) con pesos fijos iniciales:

\[ W = \begin{bmatrix} 1 & 0 & -1 \\ 1 & 0 & -1 \\ 1 & 0 & -1 \end{bmatrix} \]

• Sesgo (\(b\)): Un valor escalar \(b = 1\).
• Convolución sin relleno (Valid, \(P=0\)) y paso \(S=1\).

• Activación lineal (\(a = z\)) para aislar y clarificar la mecánica algebraica de las derivadas sin distorsión no lineal.

• Capa densa de salida (MLP):

• Los \(3 \times 3 = 9\) valores del mapa de activaciones se aplanan (Flatten) en un vector columna \(z = [z_1, z_2, \dots, z_9]^T\).

• Se conectan a una única neurona de salida mediante un vector de pesos \(w_{\text{FC}}\) (sin sesgo en la capa densa):

\[ w_{\text{FC}} = \begin{bmatrix} 1 & 0 & 1 & 1 & 0 & 1 & 1 & 0 & 1 \end{bmatrix}^T \]

• La predicción final escalar es \(\hat{y} = w_{\text{FC}}^T z\).

• Valor esperado y función de coste:

• La etiqueta objetivo real es \(y = 6\).

• Empleamos la función de coste del Error Cuadrático Medio (MSE) para una muestra (\(m=1\)):

\[ J = \frac{1}{2} (\hat{y} - y)^2 \]

1.2 Propagación hacia adelante (Forward Pass)

1.2.1 Cálculo del mapa de características (\(Z\))

Al aplicar un filtro \(3 \times 3\) sobre una entrada \(5 \times 5\) sin padding (\(P=0\)) y con paso \(S=1\), el mapa de características resultante \(Z\) tiene dimensiones de \((5 - 3 + 1) \times (5 - 3 + 1) = 3 \times 3\).

Cada celda \(Z(i, j)\) (con índices \(i, j \in \{0, 1, 2\}\)) se calcula superponiendo el kernel \(W\), multiplicando elemento a elemento con la submatriz de entrada correspondiente y sumando el sesgo \(b=1\):

\[ Z(i, j) = \left( \sum_{u=0}^{2} \sum_{v=0}^{2} X(i+u, j+v) \cdot W(u, v) \right) \;+\; b \]

Figura 1: Propagación hacia adelante: la entrada 5×5 (izquierda) se convoluciona con el kernel 3×3 y sesgo b=1 (centro) para generar el mapa de características Z de 3×3 (derecha).

1.2.1.1 Detalle de las 9 celdas del mapa

1. Celda \((0,0)\):

\[ \begin{aligned} Z(0,0) &= (7\cdot 1 + 2\cdot 0 + 3\cdot -1) + (4\cdot 1 + 5\cdot 0 + 3\cdot -1) + (3\cdot 1 + 3\cdot 0 + 2\cdot -1) + 1 \\ &= (7 - 3) + (4 - 3) + (3 - 2) + 1 = 4 + 1 + 1 + 1 = \mathbf{7} \end{aligned} \]

1. Celda \((0,1)\):

\[ \begin{aligned} Z(0,1) &= (2\cdot 1 + 3\cdot 0 + 3\cdot -1) + (5\cdot 1 + 3\cdot 0 + 8\cdot -1) + (3\cdot 1 + 2\cdot 0 + 8\cdot -1) + 1 \\ &= (2 - 3) + (5 - 8) + (3 - 8) + 1 = -1 - 3 - 5 + 1 = \mathbf{-8} \end{aligned} \]

1. Celda \((0,2)\):

\[ Z(0,2) = (3-8) + (3-4) + (2-4) + 1 = -5 - 1 - 2 + 1 = \mathbf{-7} \]

1. Celda \((1,0)\):

\[ Z(1,0) = (4-3) + (3-2) + (2-7) + 1 = 1 + 1 - 5 + 1 = \mathbf{-2} \]

1. Celda \((1,1)\):

\[ Z(1,1) = (5-8) + (3-8) + (8-2) + 1 = -3 - 5 + 6 + 1 = \mathbf{-1} \]

1. Celda \((1,2)\):

\[ Z(1,2) = (3-4) + (2-4) + (7-7) + 1 = -1 - 2 + 0 + 1 = \mathbf{-2} \]

1. Celda \((2,0)\):

\[ Z(2,0) = (3-2) + (2-7) + (5-4) + 1 = 1 - 5 + 1 + 1 = \mathbf{-2} \]

1. Celda \((2,1)\):

\[ Z(2,1) = (3-8) + (8-2) + (4-5) + 1 = -5 + 6 - 1 + 1 = \mathbf{1} \]

1. Celda \((2,2)\):

\[ Z(2,2) = (2-4) + (7-7) + (4-4) + 1 = -2 + 0 + 0 + 1 = \mathbf{-1} \]

La matriz completa del mapa de características es:

\[ Z = \begin{bmatrix} 7 & -8 & -7 \\ -2 & -1 & -2 \\ -2 & 1 & -1 \end{bmatrix} \]

1.2.2 Aplanado y cálculo de la predicción (\(\hat{y}\)) y coste (\(J\))

Aplanamos la matriz \(Z\) fila a fila en un vector unidimensional \(z \in \mathbb{R}^9\):

\[ z = \begin{bmatrix} 7 & -8 & -7 & -2 & -1 & -2 & -2 & 1 & -1 \end{bmatrix}^T \]

Figura 2: Conexión densa del vector aplanado z (9×1) con la neurona de salida lineal: cada componente z_k se multiplica por su peso w_FC,k y se suman todos los productos para obtener z_salida = -7.

Calculamos la pre-activación de la capa densa de salida \(z_{\text{salida}}\) multiplicando por el vector de pesos \(w_{\text{FC}} = [1, 0, 1, 1, 0, 1, 1, 0, 1]^T\):

\[ \begin{aligned} z_{\text{salida}} &= w_{\text{FC}}^T z \\ &= (7\cdot 1) + (-8\cdot 0) + (-7\cdot 1) + (-2\cdot 1) + (-1\cdot 0) + (-2\cdot 1) + (-2\cdot 1) + (1\cdot 0) + (-1\cdot 1) \\ &= 7 + 0 - 7 - 2 + 0 - 2 - 2 + 0 - 1 = \mathbf{-7} \end{aligned} \]

Al tener una función de activación lineal (identidad, \(g(u) = u\)), la predicción es \(\hat{y} = g(z_{\text{salida}}) = z_{\text{salida}} = \mathbf{-7}\).

Calculamos el coste del error cuadrático medio con respecto al valor esperado \(y = 6\):

\[ J = \frac{1}{2} (\hat{y} - y)^2 = \frac{1}{2} (-7 - 6)^2 = \frac{1}{2} (-13)^2 = \frac{169}{2} = \mathbf{84.5} \]

1.3 Propagación hacia atrás (Backward Pass)

Definición de Delta (δ)

Recordemos la convención fundamental: el delta (\(\delta\)) de una neurona es siempre la derivada parcial del coste respecto a su pre-activación \(z\) (la suma ponderada antes de la función de activación):

\[ \delta = \frac{\partial J}{\partial z} \]

El delta es el “mensajero” que transporta la señal de error hacia atrás a través de las capas.

1.3.1 Delta de la neurona de salida (\(\delta_{\text{salida}}\))

Por definición, el delta de la neurona de salida es la derivada parcial del coste \(J\) respecto a su pre-activación \(z_{\text{salida}}\):

\[ \delta_{\text{salida}} = \frac{\partial J}{\partial z_{\text{salida}}} \]

Aplicando la regla de la cadena:

\[ \delta_{\text{salida}} = \frac{\partial J}{\partial z_{\text{salida}}} = \frac{\partial J}{\partial \hat{y}} \cdot \frac{\partial \hat{y}}{\partial z_{\text{salida}}}=\hat{y} - y \]

1.3.2 Retropropagación al mapa de características (\(\delta_Z\))

La señal de error retrocede a través de la capa densa hacia cada una de las 9 neuronas del mapa aplanado \(z\).

Como \(z_{\text{salida}} = \sum_{j=1}^9 w_{\text{FC}, j} \cdot z_j\), la derivada parcial es \(\frac{\partial z_{\text{salida}}}{\partial z_k} = w_{\text{FC}, k}\). Aplicando la regla de la cadena, el delta de la neurona \(k\)-ésima del mapa de características es:

\[ \delta_{z_k} = \frac{\partial J}{\partial z_k} = \frac{\partial J}{\partial z_{\text{salida}}} \cdot \frac{\partial z_{\text{salida}}}{\partial z_k} = \delta_{\text{salida}} \cdot w_{\text{FC}, k} = -13 \cdot w_{\text{FC}, k} \]

Calculando para cada posición:

\[ \delta_z = -13 \cdot \begin{bmatrix} 1 \\ 0 \\ 1 \\ 1 \\ 0 \\ 1 \\ 1 \\ 0 \\ 1 \end{bmatrix} = \begin{bmatrix} -13 \\ 0 \\ -13 \\ -13 \\ 0 \\ -13 \\ -13 \\ 0 \\ -13 \end{bmatrix} \]

Reconstruimos la matriz bidimensional de gradientes espaciales \(\delta_Z\) (\(3 \times 3\)):

\[ \delta_Z = \begin{bmatrix} \delta_{(0,0)} & \delta_{(0,1)} & \delta_{(0,2)} \\ \delta_{(1,0)} & \delta_{(1,1)} & \delta_{(1,2)} \\ \delta_{(2,0)} & \delta_{(2,1)} & \delta_{(2,2)} \end{bmatrix} = \begin{bmatrix} -13 & 0 & -13 \\ -13 & 0 & -13 \\ -13 & 0 & -13 \end{bmatrix} \]

1.4 Gradiente respecto al sesgo (\(\partial J / \partial b\))

En una capa convolucional, todas las neuronas del mapa de características comparten exactamente el mismo sesgo escalar \(b\).

Por la regla de la cadena multivariable, la derivada total de la función de coste respecto a \(b\) es la suma de las derivadas a través de todas las celdas \((p, q)\) donde intervino:

\[ \frac{\partial J}{\partial b} = \sum_{p=0}^{2} \sum_{q=0}^{2} \frac{\partial J}{\partial Z(p, q)} \cdot \frac{\partial Z(p, q)}{\partial b} \]

Dado que \(Z(p, q) = \dots + b\), la derivada parcial directa es siempre \(\frac{\partial Z(p, q)}{\partial b} = 1\). Por consiguiente:

\[ \frac{\partial J}{\partial b} = \sum_{p=0}^{2} \sum_{q=0}^{2} \delta_Z(p, q) \]

Sumamos los 9 valores de la matriz \(\delta_Z\):

\[ \begin{aligned} \frac{\partial J}{\partial b} &= (-13) + (0) + (-13) + (-13) + (0) + (-13) + (-13) + (0) + (-13) \\ &= 6 \times (-13) = \mathbf{-78} \end{aligned} \]

1.5 Gradiente respecto a los pesos del kernel (\(\partial J / \partial W\))

Este es el cálculo central de las redes convolucionales: ¿cómo se calcula el gradiente de un peso \(w_{i,j}\) que se ha reutilizado al deslizar el filtro por toda la imagen?

Figura 3: Cálculo del gradiente de los pesos ∂J/∂W: cada celda del kernel W afectó a múltiples salidas Z(p,q). Su gradiente total es la convolución de la entrada X con la matriz de errores δ_Z.

1.5.1 Fórmula general del gradiente con pesos compartidos

Cada peso \(W(i, j)\) del kernel (para \(i, j \in \{0, 1, 2\}\)) multiplica al elemento \(X(p+i, q+j)\) en la posición \((p, q)\) de la ventana deslizante. Por tanto, su derivada es la suma acumulada de los productos del error \(\delta_Z(p, q)\) por el píxel de entrada correspondiente:

\[ \frac{\partial J}{\partial W(i, j)} = \sum_{p=0}^{2} \sum_{q=0}^{2} \delta_Z(p, q) \cdot X(p+i, q+j) \]

1.5.2 Cálculo detallado de los 9 pesos

1.5.2.1 1. Gradiente del peso \(W(0, 0)\) (Esquina superior izquierda)

El peso \(W(0, 0)\) interactúa con las entradas \(X(p, q)\) para cada una de las 9 posiciones \((p, q)\) del mapa:

\[ \begin{aligned} \frac{\partial J}{\partial W(0, 0)} &= \delta_{(0,0)} X(0,0) + \delta_{(0,1)} X(0,1) + \delta_{(0,2)} X(0,2) \\ &\quad + \delta_{(1,0)} X(1,0) + \delta_{(1,1)} X(1,1) + \delta_{(1,2)} X(1,2) \\ &\quad + \delta_{(2,0)} X(2,0) + \delta_{(2,1)} X(2,1) + \delta_{(2,2)} X(2,2) \\ &= (-13 \cdot 7) + (0 \cdot 2) + (-13 \cdot 3) \\ &\quad + (-13 \cdot 4) + (0 \cdot 5) + (-13 \cdot 3) \\ &\quad + (-13 \cdot 3) + (0 \cdot 3) + (-13 \cdot 2) \\ &= -91 + 0 - 39 - 52 + 0 - 39 - 39 + 0 - 26 = \mathbf{-286} \end{aligned} \]

1.5.2.2 2. Gradiente del peso \(W(0, 1)\) (Fila 0, Columna 1)

El peso \(W(0, 1)\) interactúa con las entradas \(X(p, q+1)\):

\[ \begin{aligned} \frac{\partial J}{\partial W(0, 1)} &= (-13 \cdot 2) + (0 \cdot 3) + (-13 \cdot 3) \\ &\quad + (-13 \cdot 5) + (0 \cdot 3) + (-13 \cdot 8) \\ &\quad + (-13 \cdot 3) + (0 \cdot 2) + (-13 \cdot 8) \\ &= -26 + 0 - 39 - 65 + 0 - 104 - 39 + 0 - 104 = \mathbf{-377} \end{aligned} \]

1.5.2.3 3. Gradiente del peso \(W(0, 2)\) (Fila 0, Columna 2)

El peso \(W(0, 2)\) interactúa con \(X(p, q+2)\):

\[ \begin{aligned} \frac{\partial J}{\partial W(0, 2)} &= (-13 \cdot 3) + (0 \cdot 3) + (-13 \cdot 8) \\ &\quad + (-13 \cdot 3) + (0 \cdot 8) + (-13 \cdot 4) \\ &\quad + (-13 \cdot 2) + (0 \cdot 8) + (-13 \cdot 4) \\ &= -39 + 0 - 104 - 39 + 0 - 52 - 26 + 0 - 52 = \mathbf{-312} \end{aligned} \]

1.5.2.4 4. Gradientes de la Fila 1

• \(W(1, 0)\) (interactúa con \(X(p+1, q)\)):

\[ \frac{\partial J}{\partial W(1, 0)} = -13(4 + 3) - 13(3 + 3) - 13(2 + 6) = -91 - 78 - 104 = \mathbf{-273} \]

• \(W(1, 1)\) (interactúa con \(X(p+1, q+1)\)):

\[ \frac{\partial J}{\partial W(1, 1)} = -13(5 + 8) - 13(3 + 8) - 13(8 + 2) = -169 - 143 - 130 = \mathbf{-442} \]

• \(W(1, 2)\) (interactúa con \(X(p+1, q+2)\)):

\[ \frac{\partial J}{\partial W(1, 2)} = -13(3 + 4) - 13(8 + 4) - 13(7 + 7) = -91 - 156 - 182 = \mathbf{-351} \]

1.5.2.5 5. Gradientes de la Fila 2

• \(W(2, 0)\) (interactúa con \(X(p+2, q)\)):

\[ \frac{\partial J}{\partial W(2, 0)} = -13(3 + 2) - 13(2 + 7) - 13(5 + 4) = -65 - 117 - 117 = \mathbf{-299} \]

• \(W(2, 1)\) (interactúa con \(X(p+2, q+1)\)):

\[ \frac{\partial J}{\partial W(2, 1)} = -13(3 + 8) - 13(8 + 2) - 13(4 + 5) = -143 - 130 - 117 = \mathbf{-390} \]

• \(W(2, 2)\) (interactúa con \(X(p+2, q+2)\)):

\[ \frac{\partial J}{\partial W(2, 2)} = -13(2 + 4) - 13(7 + 7) - 13(4 + 4) = -78 - 182 - 104 = \mathbf{-364} \]

1.5.3 Matriz completa del gradiente \(\partial J / \partial W\)

\[ \frac{\partial J}{\partial W} = \begin{bmatrix} -286 & -377 & -312 \\ -273 & -442 & -351 \\ -299 & -390 & -364 \end{bmatrix} \]

1.6 Verificación numérica del gradiente (Gradient Checking)

Para tener la certeza matemática absoluta de que las derivadas obtenidas analíticamente son exactas, aplicamos el método de comprobación numérica de gradientes (gradient checking).

Modificamos el peso \(W(0, 0)\) sumándole una perturbación minúscula \(\epsilon = 0.001\):

\[ W_{\text{nuevo}}(0, 0) = 1.0 + 0.001 = \mathbf{1.001} \]

Repetimos la propagación hacia adelante con este nuevo peso:

1. Nuevo mapa de activaciones \(Z_{\text{nuevo}}\): Como \(W(0, 0)\) multiplica a las entradas \(X(0,0)=7\), \(X(0,2)=3\), \(X(1,0)=4\), \(X(1,2)=3\), \(X(2,0)=3\) y \(X(2,2)=2\) en las posiciones donde \(\delta \neq 0\):

2. \(Z_{\text{nuevo}}(0,0) = 7 + 0.001 \times 7 = 7.007\)

3. \(Z_{\text{nuevo}}(0,2) = -7 + 0.001 \times 3 = -6.997\)
4. \(Z_{\text{nuevo}}(1,0) = -2 + 0.001 \times 4 = -1.996\)
5. \(Z_{\text{nuevo}}(1,2) = -2 + 0.001 \times 3 = -1.997\)
6. \(Z_{\text{nuevo}}(2,0) = -2 + 0.001 \times 3 = -1.997\)

7. \(Z_{\text{nuevo}}(2,2) = -1 + 0.001 \times 2 = -0.998\)

8. Nueva predicción \(\hat{y}_{\text{nuevo}}\):

\[ \hat{y}_{\text{nuevo}} = 7.007 - 6.997 - 1.996 - 1.997 - 1.997 - 0.998 = \mathbf{-6.978} \]

1. Nuevo coste \(J_{\text{nuevo}}\):

\[ J_{\text{nuevo}} = \frac{1}{2} (-6.978 - 6)^2 = \frac{1}{2} (-12.978)^2 = \mathbf{84.214242} \]

1. Aproximación numérica de la derivada:

\[ \frac{\Delta J}{\Delta W(0,0)} = \frac{J_{\text{nuevo}} - J_{\text{original}}}{\epsilon} = \frac{84.214242 - 84.500000}{0.001} = \frac{-0.285758}{0.001} = \mathbf{-285.758} \]

El valor analítico teórico calculado mediante backpropagation fue exactamente \(-286\).

\[ \lim_{\epsilon \to 0} \frac{\Delta J}{\epsilon} = -286 \]

La coincidencia (\(-285.758 \approx -286\)) confirma rigurosamente la exactitud de nuestras fórmulas de retropropagación.

2 Caso 2: Un canal de entrada y dos filtros (\(1 \to 2\))

En este segundo caso, procesamos la misma imagen de entrada \(X\) (\(5 \times 5\)) pero aplicamos dos filtros distintos en paralelo (\(W_1\) y \(W_2\)), generando dos mapas de activaciones (\(Z_1\) y \(Z_2\)).

2.0.1 Planteamiento

1. Entrada (\(X\)): La misma matriz \(5 \times 5\) del Caso 1.
2. Filtro 1 (\(W_1\)) y Sesgo 1 (\(b_1 = 1.0\)):

\[ W_1 = \begin{bmatrix} 1 & 0 & -1 \\ 1 & 0 & -1 \\ 1 & 0 & -1 \end{bmatrix} \]

1. Filtro 2 (\(W_2\)) y Sesgo 2 (\(b_2 = 0.0\)):

\[ W_2 = \begin{bmatrix} 0 & 1 & 0 \\ -1 & 0 & 1 \\ 0 & -1 & 0 \end{bmatrix} \]

1. Capa densa (MLP):
2. Aplanamos \(Z_1\) y \(Z_2\) concatenándolos en un vector de \(9 + 9 = \mathbf{18 \text{ elementos}}\):

\[ z = \begin{bmatrix} z_{1,1} & \dots & z_{1,9} & z_{2,1} & \dots & z_{2,9} \end{bmatrix}^T \]

• Vector de pesos densos \(w_{\text{FC}} \in \mathbb{R}^{18}\):

\[ w_{\text{FC}} = [\underbrace{1, 0, 1, 1, 0, 1, 1, 0, 1}_{\text{Pesos para } Z_1}, \quad \underbrace{0, 1, 0, -1, 0, 1, 0, -1, 0}_{\text{Pesos para } Z_2}]^T \]

1. Valor esperado: \(y = 6.0\).

2.0.2 Propagación hacia adelante (Forward Pass)

Cada filtro genera su propio mapa de \(3 \times 3\) de forma independiente:

Figura 4: Caso 2 (1 canal, 2 filtros): la entrada 5×5 es procesada en paralelo por W₁ (arriba) y W₂ (abajo), generando los mapas de activaciones Z₁ y Z₂.

Las dos matrices calculadas son:

\[ Z_1 = \begin{bmatrix} 7 & -8 & -7 \\ -2 & -1 & -2 \\ -2 & 1 & -1 \end{bmatrix}, \qquad Z_2 = \begin{bmatrix} -2 & 4 & -4 \\ -4 & 1 & 8 \\ 4 & -8 & 3 \end{bmatrix} \]

Multiplicamos el vector concatenado de 18 activaciones por \(w_{\text{FC}}\):

\[ z_{\text{salida}} = (w_{\text{FC}, 1\dots 9}^T z_1) + (w_{\text{FC}, 10\dots 18}^T z_2) = (-7) + (4 - (-4) + 8 - (-8)) = -7 + 24 = \mathbf{17.0} \]

Predicción: \(\hat{y} = z_{\text{salida}} = \mathbf{17.0}\).

Coste del error:

\[ J = \frac{1}{2} (\hat{y} - y)^2 = \frac{1}{2} (17 - 6)^2 = \frac{1}{2} (11)^2 = \mathbf{60.5} \]

2.0.3 Propagación hacia atrás (Backward Pass)

1. Delta de la neurona de salida:

\[ \delta_{\text{salida}} = \frac{\partial J}{\partial z_{\text{salida}}} = \hat{y} - y = 17 - 6 = \mathbf{11.0} \]

1. Retropropagación y bifurcación a los dos mapas (\(\delta_{Z_1}\) y \(\delta_{Z_2}\)): El vector de 18 deltas es \(\delta_z = 11 \cdot w_{\text{FC}}\). Al reconstruir las matrices espaciales \(3 \times 3\):

\[ \delta_{Z_1} = \begin{bmatrix} 11 & 0 & 11 \\ 11 & 0 & 11 \\ 11 & 0 & 11 \end{bmatrix}, \qquad \delta_{Z_2} = \begin{bmatrix} 0 & 11 & 0 \\ -11 & 0 & 11 \\ 0 & -11 & 0 \end{bmatrix} \]

1. Gradientes de los sesgos (\(b_1\) y \(b_2\)):

2. \(\frac{\partial J}{\partial b_1} = \sum \delta_{Z_1} = 6 \times 11 = \mathbf{66.0}\)

3. \(\frac{\partial J}{\partial b_2} = \sum \delta_{Z_2} = 11 - 11 + 11 - 11 = \mathbf{0.0}\)

4. Gradientes de los pesos (\(W_1\) y \(W_2\)): Aplicando la convolución de la entrada \(X\) con su respectiva matriz de error:

\[ \frac{\partial J}{\partial W_1} = \begin{bmatrix} 242 & 319 & 264 \\ 231 & 374 & 297 \\ 253 & 330 & 308 \end{bmatrix}, \qquad \frac{\partial J}{\partial W_2} = \begin{bmatrix} -22 & 44 & -44 \\ -44 & 11 & 88 \\ 44 & -88 & 33 \end{bmatrix} \]

3 Caso 3: Dos canales de entrada y un filtro 3D (\(2 \to 1\))

Examinemos ahora una entrada con múltiples canales (\(C_{\text{in}} = 2\)), como ocurriría con dos planos de color o dos mapas de características intermedios.

3.0.1 Planteamiento

1. Entrada multicanal (\(X \in \mathbb{R}^{4 \times 4 \times 2}\)):
2. Canal 1 (\(X_{\text{c1}}\)):

\[ X_{\text{c1}} = \begin{bmatrix} 1 & 2 & 0 & 1 \\ 3 & 1 & 2 & 2 \\ 0 & 1 & 3 & 1 \\ 2 & 0 & 1 & 3 \end{bmatrix} \]

• Canal 2 (\(X_{\text{c2}}\)):

\[ X_{\text{c2}} = \begin{bmatrix} 0 & 1 & 2 & 0 \\ 1 & 3 & 1 & 2 \\ 2 & 0 & 1 & 3 \\ 1 & 2 & 0 & 1 \end{bmatrix} \]

1. Filtro 3D (\(W \in \mathbb{R}^{2 \times 2 \times 2}\)) y Sesgo escalar (\(b = 1.0\)):
2. Rebanada Canal 1 (\(W_{\text{c1}}\)):

\[ W_{\text{c1}} = \begin{bmatrix} 1 & 0 \\ -1 & 1 \end{bmatrix} \]

• Rebanada Canal 2 (\(W_{\text{c2}}\)):

\[ W_{\text{c2}} = \begin{bmatrix} 0 & 1 \\ 1 & -1 \end{bmatrix} \]

1. Capa densa (MLP):
2. Los \(3 \times 3 = 9\) valores del mapa resultante se conectan con \(w_{\text{FC}} = [1, 0, 1, 1, 0, 1, 1, 0, 1]^T\).
3. Valor objetivo real: \(y = 6.0\).

3.0.2 Propagación hacia adelante (Forward Pass)

La convolución 3D calcula la suma de convoluciones de cada canal más el sesgo único \(b\):

\[ Z(i, j) = \left( \sum_{u=0}^1 \sum_{v=0}^1 X_{\text{c1}}(i+u, j+v) W_{\text{c1}}(u, v) \right) + \left( \sum_{u=0}^1 \sum_{v=0}^1 X_{\text{c2}}(i+u, j+v) W_{\text{c2}}(u, v) \right) + b \]

Figura 5: Caso 3 (2 canales, 1 filtro 3D): los canales de entrada X_c1 y X_c2 se convolucionan con sus correspondientes rebanadas de filtro W_c1 y W_c2 y se suman con el sesgo b=1 para formar el mapa Z.

El mapa de características \(Z\) resultante es:

\[ Z = \begin{bmatrix} -1 & 8 & 0 \\ 10 & 4 & 1 \\ -2 & 6 & 8 \end{bmatrix} \]

Aplanado y proyección densa:

\[ \begin{aligned} z_{\text{salida}} &= w_{\text{FC}}^T z \\ &= (-1\cdot 1) + (8\cdot 0) + (0\cdot 1) + (10\cdot 1) + (4\cdot 0) + (1\cdot 1) + (-2\cdot 1) + (6\cdot 0) + (8\cdot 1) \\ &= -1 + 0 + 0 + 10 + 0 + 1 - 2 + 0 + 8 = \mathbf{16.0} \end{aligned} \]

Predicción: \(\hat{y} = \mathbf{16.0}\).

Coste del error:

\[ J = \frac{1}{2} (\hat{y} - y)^2 = \frac{1}{2} (16 - 6)^2 = \frac{1}{2} (10)^2 = \mathbf{50.0} \]

3.0.3 Propagación hacia atrás (Backward Pass)

1. Delta de salida:

\[ \delta_{\text{salida}} = \frac{\partial J}{\partial z_{\text{salida}}} = 16 - 6 = \mathbf{10.0} \]

1. Matriz de errores del mapa (\(\delta_Z\)):

\[ \delta_Z = 10 \cdot \begin{bmatrix} 1 & 0 & 1 \\ 1 & 0 & 1 \\ 1 & 0 & 1 \end{bmatrix} = \begin{bmatrix} 10 & 0 & 10 \\ 10 & 0 & 10 \\ 10 & 0 & 10 \end{bmatrix} \]

1. Gradiente del sesgo (\(b\)): Como el sesgo es único para el filtro 3D completo:

\[ \frac{\partial J}{\partial b} = \sum_{p=0}^2 \sum_{q=0}^2 \delta_Z(p, q) = 6 \times 10 = \mathbf{60.0} \]

1. Gradiente de los pesos por canal (\(\frac{\partial J}{\partial W_{\text{c1}}}\) y \(\frac{\partial J}{\partial W_{\text{c2}}}\)): Cada rebanada del kernel recibe su gradiente convolucionando su canal de entrada con el mapa común \(\delta_Z\):

\[ \frac{\partial J}{\partial W_{\text{c1}}} = \sum \delta_Z \cdot X_{\text{c1}} = \begin{bmatrix} 90 & 80 \\ 110 & 80 \end{bmatrix} \]

\[ \frac{\partial J}{\partial W_{\text{c2}}} = \sum \delta_Z \cdot X_{\text{c2}} = \begin{bmatrix} 70 & 90 \\ 60 & 110 \end{bmatrix} \]

4 Resumen comparativo de los tres casos

Configuración	Entrada	Filtros	Activaciones (\(Z\))	Gradiente del Sesgo	Gradiente de los Pesos
Caso 1 (\(1 \to 1\))	\(5 \times 5 \times 1\)	1 de \(3 \times 3 \times 1\)	1 mapa (\(3 \times 3\))	\(\frac{\partial J}{\partial b} = \sum \delta_Z = -78\)	\(\frac{\partial J}{\partial W} = X * \delta_Z\) (\(3 \times 3\))
Caso 2 (\(1 \to 2\))	\(5 \times 5 \times 1\)	2 de \(3 \times 3 \times 1\)	2 mapas (\(3 \times 3 \times 2\))	\(\frac{\partial J}{\partial b_1} = 66, \; \frac{\partial J}{\partial b_2} = 0\)	\(\frac{\partial J}{\partial W_1} = X * \delta_{Z_1}, \; \frac{\partial J}{\partial W_2} = X * \delta_{Z_2}\)
Caso 3 (\(2 \to 1\))	\(4 \times 4 \times 2\)	1 de \(2 \times 2 \times 2\)	1 mapa (\(3 \times 3 \times 1\))	\(\frac{\partial J}{\partial b} = \sum \delta_Z = 60\)	\(\frac{\partial J}{\partial W_{\text{c}k}} = X_{\text{c}k} * \delta_Z\) (\(2 \times 2 \times 2\))