Fundamentos matemáticos del machine learning
El objetivo de este bloque es construir el lenguaje matemático que utilizan los algoritmos del libro. El recorrido va de la representación de los datos a la optimización de una función de pérdida:
La notación que utilizaremos será:
- \(X \in \mathbb{R}^{n \times d}\): matriz de datos con \(n\) ejemplos y \(d\) características.
- \(y \in \mathbb{R}^{n}\): vector de valores objetivo.
- \(\theta \in \mathbb{R}^{d}\): vector de parámetros del modelo.
- \(\hat{y}\): vector de predicciones.
1 Álgebra lineal
- Sistemas de ecuaciones lineales
- Vectores, normas y transformaciones lineales
- Identidad e inversa
- Determinante
- Autovalores y autovectores
Estos capítulos introducen las operaciones que aparecen después en regresión, KNN, PCA, SVM y redes neuronales. En particular, una norma mide el tamaño de un vector y una distancia puede escribirse como \(d(x,z)=\|x-z\|\).
2 Funciones y cálculo
- Funciones de error, mínimos cuadrados y convexidad
- Derivadas y regla de la cadena
- Gradiente y descenso de gradiente
El cálculo se aplica a funciones de pérdida. El gradiente indica cómo cambia la pérdida al modificar los parámetros y permite construir algoritmos de optimización.
3 Probabilidad y estadística
- Introducción a estadística y probabilidad
- Descripción de probabilidades y muestras
- Distribuciones de probabilidad
- Teorema de Bayes
- Relación entre variables
- Intervalos de confianza
- Test de hipótesis
La probabilidad describe la incertidumbre; la estadística permite estimar propiedades de una población a partir de datos. Estos conceptos conectan con Naive Bayes, la clasificación probabilística, la evaluación y el análisis de errores.
4 Conexiones con los algoritmos
- Regresión lineal: mínimos cuadrados, proyecciones y gradiente.
- PCA: centrado, matriz de covarianza, autovectores y proyecciones.
- SVM: producto escalar, norma, margen y optimización restringida.
- Redes neuronales: composición de funciones, regla de la cadena y gradientes.