Matrices: Definición, Notación y Tipos

Matrices

• Una matriz es una tabla de números utilizada en matemáticas, ciencias e ingeniería.
• Cada número en una matriz se denomina elemento.

Notación

• Las matrices se denotan con letras mayúsculas como $A$.
• Los elementos se denotan con letras minúsculas con subíndices, por ejemplo, $a_{ij}$, donde $i$ es la fila y $j$ es la columna.
• $a_{23}$ representa el elemento en la segunda fila y tercera columna de la matriz $A$.

Dimensión

• La dimensión de una matriz es el número de filas y columnas: $m \times n$ donde $m$ es el número de filas y $n$ es el número de columnas.
• Ejemplo: $A = \begin{bmatrix} 1 & 2 & 3 \ 4 & 5 & 6 \end{bmatrix}$ es una matriz $2 \times 3$.

Tipos de Matrices

• Matriz cuadrada: Tiene el mismo número de filas y columnas.
• Matriz identidad: Matriz cuadrada con la diagonal principal igual a 1 y el resto de los elementos iguales a 0.
• Matriz transpuesta: Se obtiene al intercambiar las filas y columnas de la matriz original.

Operaciones con Matrices

• Las matrices se pueden sumar, restar y multiplicar. La división no está definida, pero se puede usar la inversa para resolver ecuaciones matriciales.

Adición

• Las matrices deben tener la misma dimensión para poder sumarlas.
• La suma de $A$ y $B$ es $C$, donde $c_{ij} = a_{ij} + b_{ij}$.

Sustracción

• Requiere que las matrices tengan la misma dimensión.
• La diferencia de $A$ y $B$ es $C$, donde $c_{ij} = a_{ij} - b_{ij}$.

Multiplicación

• El número de columnas de la primera matriz debe ser igual al número de filas de la segunda matriz.
• El producto de una matriz $A$ $m \times n$ y una matriz $B$ $n \times p$ es una matriz $C$ $m \times p$, donde $c_{ij} = \sum_{k=1}^{n} a_{ik}b_{kj}$.

Aplicaciones

• Álgebra Lineal: Se utilizan para representar y resolver sistemas de ecuaciones lineales.
• Gráficos por ordenador: Representan y transforman objetos 3D.
• Procesamiento de imágenes: Representan y manipulan imágenes.
• Aprendizaje automático: Representan y entrenan modelos de aprendizaje automático.

Funciones

• Una función es una regla que asigna exactamente un elemento $f(x)$ de un conjunto $B$ a cada elemento $x$ de un conjunto $A$.

Conjuntos

• Conjunto A: Dominio de la función.
• Conjunto B: Codominio de la función.
• Rango: Conjunto de todos los valores posibles de $f(x)$.

Notación

• $f: A \rightarrow B$
• $y = f(x)$
• $x$: variable independiente
• $y$: variable dependiente

Ejemplo:

• Función: $f(x) = x^2$
• Dominio: Números reales.
• Rango: Números reales no negativos

Gráfica de una función

• Es el conjunto de pares ordenados ${(x, f(x)) \mid x \in A}$, donde $y = f(x)$.

Prueba de la línea vertical

• Para cada valor de $x$, solo puede haber un valor de $y$ para que la relación sea considerada como una función

Funciones definidas por partes

• Se definen por diferentes fórmulas en diferentes partes de su dominio.
• Ejemplo: $f(x) = \begin{cases} x^2 & \text{si } x < 0 \ x & \text{si } x \geq 0 \end{cases}$

Funciones pares e impares

• Función par: $f(-x) = f(x)$. Su gráfica es simétrica con respecto al eje $y$.
• Función impar: $f(-x) = -f(x)$. Su gráfica es simétrica con respecto al origen.

Inferencia estadística

Estimación puntual

• Es una estadística $\hat{\Theta} = g(X_1, X_2,..., X_n)$ utilizada para estimar un parámetro desconocido $\theta$ de una población, tomando una muestra aleatoria $X_1, X_2,..., X_n$

Metodos para hallar estimadores

• Método de momentos
• Estimación de máxima verosimilitud (MLE)
• Estimación bayesiana

Evaluación de estimadores

• Sesgo: $Bias(\hat{\Theta}) = E(\hat{\Theta}) - \theta$
• Varianza: $Var(\hat{\Theta}) = E[(\hat{\Theta} - E(\hat{\Theta}))^2]$
• Error cuadrático medio (MSE): $MSE(\hat{\Theta}) = E[(\hat{\Theta} - \theta)^2] = Var(\hat{\Theta}) + [Bias(\hat{\Theta})]^2$

Propiedades de los estimadores

• Insesgamiento: $E(\hat{\Theta}) = \theta$
• Eficiencia: Si $\hat{\Theta}_1$ y $\hat{\Theta}_2$ son ambos insesgados, $\hat{\Theta}_1$ es más eficiente si $Var(\hat{\Theta}_1) < Var(\hat{\Theta}_2)$.
• Consistencia: $\hat{\Theta}$ es un estimador consistente de $\theta$ si $\hat{\Theta}$ converge a $\theta$ en probabilidad cuando $n \to \infty$.
• Suficiencia: $\hat{\Theta}$ es una estadística suficiente para $\theta$ si contiene toda la información sobre $\theta$ en la muestra.

Estimación de intervalo

• Es un intervalo $(L, U)$ tal que $P(L \le \theta \le U) = 1 - \alpha$, donde $1 - \alpha$ es el nivel de confianza.

Métodos para hallar intervalos de confianza

• Método de la cantidad pivotal
• Método de muestra grande

Ejemplos de intervalos de confianza

• Media de una población normal con varianza conocida: $(\bar{X} - z_{\alpha/2} \frac{\sigma}{\sqrt{n}}, \bar{X} + z_{\alpha/2} \frac{\sigma}{\sqrt{n}})$
• Media de una población normal con varianza desconocida: $(\bar{X} - t_{\alpha/2, n-1} \frac{s}{\sqrt{n}}, \bar{X} + t_{\alpha/2, n-1} \frac{s}{\sqrt{n}})$
• Proporción: $(\hat{p} - z_{\alpha/2} \sqrt{\frac{\hat{p}(1 - \hat{p})}{n}}, \hat{p} + z_{\alpha/2} \sqrt{\frac{\hat{p}(1 - \hat{p})}{n}})$

Prueba de hipótesis

• Hipótesis nula ($H_0$): Es una afirmación que se quiere probar sobre el parámetro de una población.
• Hipótesis alternativa ($H_1$): Es una afirmación que contradice la hipótesis nula.
• Estadístico de prueba: Es una estadística usada para probar la hipótesis nula.
• Región de rechazo: Es el conjunto de valores del estadístico de prueba para el cual se rechaza la hipótesis nula.
• Error tipo I: Rechazar la hipótesis nula cuando es verdadera.
• Error tipo II: No rechazar la hipótesis nula cuando es falsa.
• Potencia de una prueba: Es la probabilidad de rechazar la hipótesis nula cuando es falsa.
• Valor p: Es la probabilidad de observar un estadístico de prueba tan extremo como o más extremo que el observado, asumiendo que la hipótesis nula es verdadera.

Pasos en la prueba de hipótesis

1. Establecer las hipótesis nula y alternativa.
2. Elegir un nivel de significancia $\alpha$.
3. Calcular el estadístico de prueba.
4. Determinar la región de rechazo o el valor p.
5. Tomar una decisión.

Ejemplos de pruebas de hipótesis

• Prueba t de una muestra: Probar la hipótesis de que la media de una población es igual a un valor específico.
• Prueba t de dos muestras: Probar la hipótesis de que las medias de dos poblaciones son iguales.
• Prueba de chi-cuadrado: Probar la hipótesis de que dos variables categóricas son independientes.
• ANOVA: Probar la hipótesis de que las medias de tres o más poblaciones son iguales.

Introducción 24 de Octubre de 2023

• Se trata de estimar una función $f$ con otra función $\hat{f}$ utilizando un conjunto de datos $D = {(x_i, y_i)}_{i=1}^N$ donde $x_i \in \mathbb{R}^d$ y $y_i \in \mathbb{R}$.
• El objetivo es minimizar una función de pérdida $L(y, \hat{f}(x))$.

Marco

1. Elegir $\hat{f}$

• $\hat{f}$ se elige de una clase de hipótesis $\mathcal{H}$. Por ejemplo, modelos lineales o redes neuronales

2. Minimización del riesgo empírico

• Encontrar $\hat{f} \in \mathcal{H}$ que minimice el riesgo empírico: $\hat{f} = \underset{f \in \mathcal{H}}{\text{argmin}} \frac{1}{N} \sum_{i=1}^N L(y_i, f(x_i))$

3. Generalización

• Se busca que $\hat{f}$ generalice bien a datos no vistos.

Funciones de pérdida

• Error cuadrático: $L(y, \hat{f}(x)) = (y - \hat{f}(x))^2$
• Error absoluto: $L(y, \hat{f}(x)) = |y - \hat{f}(x)|$
• Pérdida 0-1: $L(y, \hat{f}(x)) = \mathbb{I}(y \neq \hat{f}(x))$
• Pérdida Hinge: $L(y, \hat{f}(x)) = \max(0, 1 - y\hat{f}(x))$, donde $y \in {-1, 1}$
• Pérdida logística: $L(y, \hat{f}(x)) = \log(1 + e^{-y\hat{f}(x)})$, donde $y \in {-1, 1}$

Ejemplo: Regresión Lineal

• Dados $D = {(x_i, y_i)}_{i=1}^N$, donde $x_i \in \mathbb{R}^d$, $y_i \in \mathbb{R}$.
• Sea $\hat{f}(x) = w^T x + b$. Se busca encontrar $w, b$ que minimicen la pérdida de error cuadrático: $\underset{w, b}{\text{min}} \frac{1}{N} \sum_{i=1}^N (y_i - (w^T x_i + b))^2$

Simplificación

• Se añade una constante 1 a cada $x_i$ y se absorbe b en w. De esta forma, $\tilde{x}_i = \begin{bmatrix} x_i \ 1 \end{bmatrix}$ y $\tilde{w} = \begin{bmatrix} w \ b \end{bmatrix}$. Entonces $\hat{f}(x) = \tilde{w}^T \tilde{x}$
• El problema se convierte en: $\underset{\tilde{w}}{\text{min}} \frac{1}{N} \sum_{i=1}^N (y_i - \tilde{w}^T \tilde{x}_i)^2$

Reescritura utilizando notación matricial

Sea $X = \begin{bmatrix} \tilde{x}_1^T \ \vdots \ \tilde{x}_N^T \end{bmatrix}$ y $y = \begin{bmatrix} y_1 \ \vdots \ y_N \end{bmatrix}$. - Entonces el problema puede ser escrito como: $\underset{\tilde{w}}{\text{min}} \frac{1}{N} ||y - X\tilde{w}||^2$

Convexidad

• Una función $f$ es convexa si para cualquier $x, y$ y cualquier $\lambda \in [0, 1]$: $f(\lambda x + (1 - \lambda)y) \leq \lambda f(x) + (1 - \lambda) f(y)$

Propiedades

• Primera derivada: $f(y) \geq f(x) + \nabla f(x)^T (y - x)$
• Segunda derivada: $\nabla^2 f(x) \succeq 0$ (semidefinida positiva)

Resolución para $\tilde{w}$

• Para resolver el problema de minimización, se toma la derivada con respecto a $\tilde{w}$ y se iguala a cero:

Cálculo

$X^T X \tilde{w} = X^T y$ Si $X^T X$ es invertible: $\tilde{w} = (X^T X)^{-1} X^T y$