Análisis de la Complejidad de Algoritmos

Análisis de la Complejidad de Algoritmos

• Al analizar la eficiencia de un algoritmo, se debe tener en cuenta la tasa de crecimiento del número de operaciones al aumentar el tamaño de la entrada.
• La notación Big O es útil para analizar la eficiencia de un algoritmo.
• El algoritmo A necesita n^2 pasos para procesar n elementos.
• El algoritmo B necesita n log₂ n pasos para procesar n elementos.
• Para valores pequeños de n (n < 100), es difícil determinar cuál algoritmo es mejor, pero a medida que n aumenta, $n^2$ se incrementa más rápido que n log₂ n.

Tasas de Crecimiento Comunes

• O(1) (Constante): Acceder a un elemento de un arreglo por índice.
• O(log n) (Logarítmico): Búsqueda binaria.
• O(n) (Lineal): Iterar a través de un arreglo.
• O(n log n) (Loglineal): Ordenamiento por mezcla (Merge sort).
• $O(n^2)$ (Cuadrático): Ordenamiento de burbuja (Bubble sort).
• $O(n^3)$ (Cúbico): Multiplicación de matrices.
• $O(2^n)$ (Exponencial): Torre de Hanói.
• O(n!) (Factorial): Generación de todas las permutaciones.

Análisis de la Complejidad Espacial

• La complejidad espacial de un algoritmo es la cantidad de memoria requerida para resolver el problema en función del tamaño de la entrada.
• La complejidad espacial total incluye el espacio auxiliar y el espacio de entrada.
• Espacio Auxiliar: Espacio temporal utilizado por el algoritmo.
• Espacio de Entrada: Espacio ocupado por la entrada.
• Complejidad Espacial = Espacio Auxiliar + Espacio de Entrada.

Ejemplo de Complejidad Espacial

• En la función int sum (int arr[], int n), el espacio de entrada es O(n) debido al arreglo de tamaño n.
• EL espacio auxiliar es O(1) debido a la variable entera sum.
• La complejidad espacial general es O(n) + O(1) = O(n).

Resumen Ejecutivo: Delicias de la Huerta Orgánica

• El plan de negocios analiza la viabilidad de una empresa de conservas vegetales orgánicas en la Región Metropolitana.
• Existe una creciente demanda por productos saludables y ecológicos.

Descripción de la Empresa

• Nombre: "Delicias de la Huerta Orgánica".
• Giro: Producción y comercialización de conservas vegetales orgánicas.
• Ubicación: Región Metropolitana.
• Misión: Ofrecer productos vegetales orgánicos de alta calidad, elaborados artesanalmente de manera sostenible para una alimentación saludable.
• Visión: Ser líderes en el mercado de conservas vegetales orgánicas, reconocidos por calidad, compromiso y respeto al medio ambiente.

Análisis del Mercado

• Mercado Objetivo: Personas preocupadas por la salud y el medio ambiente, que buscan productos naturales de alta calidad.
• Tamaño del Mercado: Crecimiento constante del mercado orgánico en Chile, impulsado por la conciencia del consumidor.
• Competencia: Moderada, con marcas nacionales e importadas, pero con un nicho para productos orgánicos y artesanales.
• Ventajas Competitivas: Productos orgánicos certificados, elaboración artesanal, variedad de sabores y presentaciones, precios competitivos y compromiso con el medio ambiente.

Estrategia de Marketing

• Producto: Conservas vegetales orgánicas con ingredientes frescos de alta calidad.
• Precio: Competitivos, acordes con la calidad y la propuesta de valor.
• Distribución: Venta directa en ferias, tiendas especializadas, venta online y alianzas estratégicas con restaurantes.
• Promoción: Participación en ferias, publicidad en redes sociales, relaciones públicas y marketing de contenidos.

Análisis Técnico

• Localización: Espacio de producción con acceso a agua, electricidad e internet.
• Equipamiento: Ollas de acero, cocina industrial, envasadora, etiquetadora y cámaras de frío.
• Materia Prima: Vegetales orgánicos certificados de productores locales.
• Proceso Productivo: Recepción, lavado, corte, cocción, envasado, esterilización, etiquetado y almacenamiento.

Organización y Administración

• Estructura Organizacional: Gerente general, jefe de producción, encargado de ventas y encargado de administración.
• Recursos Humanos: Personal con experiencia en producción, ventas y administración.
• Asesoría Externa: Contador y abogado para temas contables y legales.

Análisis Financiero

• Inversión Inicial: $20.000.000 para equipamiento, materia prima y gastos de puesta en marcha.
• Fuentes de Financiamiento: Crédito bancario y recursos propios.
• Proyección de Ventas: $30.000.000 en el primer año, con crecimiento del 10% anual.
• Rentabilidad: Se espera un 20% sobre las ventas en el primer año.

Conclusiones

• Viabilidad de la empresa de conservas vegetales orgánicas en la Región Metropolitana.
• Demanda creciente por productos orgánicos.
• Se espera una rentabilidad atractiva con una estrategia de marketing adecuada y gestión eficiente de recursos.

Machine Learning

• El aprendizaje automático consiste en hacer que las computadoras modifiquen o adapten sus acciones para que sean más precisas, donde la precisión se mide mediante una función de utilidad.

Tipos de Aprendizaje Automático

• Aprendizaje supervisado: Aprender una función que asigne una entrada a una salida basada en pares de entrada-salida de ejemplo.
• Aprendizaje no supervisado: Modelar la estructura subyacente u oculta de los datos para obtener más información sobre los datos.
• Aprendizaje por refuerzo: Un agente aprende de las consecuencias de sus acciones, en lugar de ser enseñado explícitamente.

Aprendizaje Supervisado

• Regresión: Predecir un valor continuo (por ejemplo, el precio de una casa).
• Clasificación: Predecir un valor discreto (por ejemplo, si un correo electrónico es correo basura o no).

Regresión Lineal

• Hipótesis: $h_\theta(x) = \theta_0 + \theta_1x$
• Parámetros: $\theta_0, \theta_1$
• Función de costo: $J(\theta_0, \theta_1) = \frac{1}{2m}\sum_{i=1}^m(h_\theta(x^{(i)}) - y^{(i)})^2$
• Objetivo: $\min_{\theta_0, \theta_1} J(\theta_0, \theta_1)$

Descenso de Gradiente

• Repetir hasta convergencia:
  • $\theta_j := \theta_j - \alpha \frac{\partial}{\partial \theta_j}J(\theta_0, \theta_1)$
  • Actualizar simultáneamente $\theta_j$ para todo $j$)
• Para la regresión lineal, la derivada parcial es:
  • $\frac{\partial}{\partial \theta_j}J(\theta_0, \theta_1) = \frac{1}{m}\sum_{i=1}^m(h_\theta(x^{(i)}) - y^{(i)})x_j^{(i)}$
• Descenso de gradiente para regresión lineal:
  • $\theta_0 := \theta_0 - \alpha \frac{1}{m}\sum_{i=1}^m(h_\theta(x^{(i)}) - y^{(i)})$
  • $\theta_1 := \theta_1 - \alpha \frac{1}{m}\sum_{i=1}^m(h_\theta(x^{(i)}) - y^{(i)})x^{(i)}$
• $\alpha$ es la tasa de aprendizaje.

Escalado de Características

• Asegurarse de que las características estén en una escala similar.
• Si $x_1$ está entre 0 y 2000, y $x_2$ está entre 1 y 5, el escalado de características puede ayudar dividiendo cada característica por su rango o mediante la normalización de la media: $x_i := \frac{x_i - \mu_i}{s_i}$, donde $\mu_i$ es el valor promedio de $x_i$ y $s_i$ es la desviación estándar de $x_i$.

Tasa de Aprendizaje

• Si $\alpha$ es demasiado pequeño, descenso de gradiente puede ser lento.
• Si $\alpha$ es demasiado grande, descenso de gradiente puede sobrepasar el mínimo.
• Para elegir $\alpha$, probar valores como 0.001, 0.01, 0.1, 1, 10.

Regresión Polinomial

• La función de hipótesis no necesita ser lineal, se puede utilizar la regresión polinomial.
• Ejemplo: $h_\theta(x) = \theta_0 + \theta_1x + \theta_2x^2 + \theta_3x^3$.

Ecuación Normal

• Método para resolver $\theta$ analíticamente.
• No es necesario elegir $\alpha$ ni iterar.
• $\theta = (X^TX)^{-1}X^Ty$

Clasificación

• Regresión Logística: predecir un resultado binario (0 ó 1).
  • Hipótesis: $h_\theta(x) = g(\theta^Tx)$
  • Función sigmoide: $g(z) = \frac{1}{1 + e^{-z}}$
  • Frontera de decisión: $h_\theta(x) \ge 0.5$

Función de Costo Simplificada

• $J(\theta) = -\frac{1}{m}\sum_{i=1}^m[y^{(i)}log(h_\theta(x^{(i)})) + (1 - y^{(i)})log(1 - h_\theta(x^{(i)}))]$

Multiclass Classification

• Clasificación uno contra todos.
• Entrenar un clasificador de regresión logística $h_\theta^{(i)}(x)$ para cada clase i para predecir la probabilidad de que y = i.
• Para hacer una predicción, elegir la clase i que maximiza $h_\theta^{(i)}(x)$.
• Regularización: Ayuda a evitar el sobreajuste (overfitting) agregando un término de penalización a la función de costo.

Redes Neuronales

• Una red neuronal es un conjunto de unidades de entrada/salida conectadas en la que cada conexión tiene un peso asociado.
• Durante la fase de aprendizaje, la red ajusta los pesos para poder predecir la etiqueta de clase correcta de las tuplas de entrada.
• Las redes neuronales se pueden utilizar tanto para la regresión como para la clasificación.

Representación

• Capa de entrada: características $x_1, x_2,..., x_n$
• Capa oculta: capa intermedia
• Capa de salida: predicción

Función de Activación

$a_i^{(j)} = g(z_i^{(j)})$

$g(z) = \frac{1}{1 + e^{-z}}$

Función de Costo

$J(\theta) = -\frac{1}{m}\sum_{i=1}^m\sum_{k=1}^K[y_{k}^{(i)}log((h_\theta(x^{(i)}))k) + (1 - y{k}^{(i)})log(1 - (h_\theta(x^{(i)}))k)] + \frac{\lambda}{2m}\sum{l=1}^L\sum_{i=1}^{S_l}\sum_{j=1}^{S_{l+1}}(\theta_{ji}^{(l)})^2$

Propagación hacia atrás

1. Realice una pasada hacia adelante, calculando las activaciones para las capas L2, L3,..., hasta la capa de salida L.
2. Para cada unidad de salida $k$ en la capa $L$ (la capa de salida), establezca $\delta_k^{(L)} = (a_k^{(L)} - y_k)$
3. Para $l = L-1, L-2, L-3,..., 2$ $\delta^{(l)} = ((\Theta^{(l)})^T \delta^{(l+1)}).\ a^{(l)}.\ (1 - a^{(l)})$
4. Calcule el gradiente usando $D_{ij}^{(l)} = \frac{1}{m}\sum_{i=1}^m \delta_i^{(l+1)} a_j^{(l)}$ $\frac{\partial}{\partial \Theta_{ij}^{(l)}}J(\Theta) = D_{ij}^{(l)}$

Evaluación del Modelo

• Sesgo vs Varianza:
  • Sesgo: qué tan bien el modelo se ajusta a los datos.
  • Varianza: cuánto cambia el modelo cuando se entrena con diferentes datos.

Diagnóstico de Sesgo vs Varianza

• Alto sesgo (subajuste): tanto $J_{train}(\Theta)$ como $J_{CV}(\Theta)$ serán altos. También, $J_{CV}(\Theta) \approx J_{train}(\Theta)$.
• Alta varianza (sobreajuste): $J_{train}(\Theta)$ será bajo, y $J_{CV}(\Theta)$ será mucho más alto que $J_{train}(\Theta)$.

Curvas de aprendizaje

• Trazar $J_{train}(\Theta)$ y $J_{CV}(\Theta)$ y en función del número de ejemplos de entrenamiento.
• Alto sesgo: ambas curvas convergen a un valor alto.
• Alta varianza: $J_{train}(\Theta)$ será bajo, y $J_{CV}(\Theta)$ será mucho más alto que $J_{train}(\Theta)$.

Decisiones para Mejorar Modelos

• Obtener más ejemplos de entrenamiento: Soluciona la alta varianza
• Probar conjuntos de características más pequeños: Soluciona la alta varianza
• Agregar características: Soluciona el alto sesgo
• Agregar características polinómicas: Soluciona el alto sesgo
• Disminuir $\lambda$: Soluciona el alto sesgo
• Aumentar $\lambda$: Soluciona la alta varianza

Aprendizaje no Supervisado

Agrupamiento (Clustering)

• Agrupar puntos de datos similares.

K-Means

1. Inicializar aleatoriamente los centroides de clúster K.
2. Repetir:
   • Asignar cada punto de datos al centroide más cercano.
   • Mover cada centroide a la media de los puntos de datos asignados a él.

Reducción de Dimensionalidad

• Reducir el número de características.

Análisis de Componentes Principales (PCA)

1. Preprocesamiento de datos: restar la media de cada característica. Dividir cada característica por su desviación estándar. $x_j^{(i)} := \frac{x_j^{(i)} - \mu_j}{s_j}$
2. Calcular la matriz de covarianza: $\Sigma = \frac{1}{m}\sum_{i=1}^n(x^{(i)})(x^{(i)})^T$
3. Calcular los vectores propios de $\Sigma$ utilizando la descomposición de valores singulares: $[U, S, V] = svd(\Sigma)$
4. Tomar los primeros k vectores propios para reducir la dimensionalidad de los datos.

Detección de Anomalías

• Identificar puntos de datos inusuales.

Distribución Gaussiana

$p(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x - \mu)^2}{2\sigma^2}}$

Algoritmo

1. Elegir características $x_i$ que creas que podrían ser indicativas de ejemplos anómalos.
2. Ajustar los parámetros $\mu_1, \sigma_1^2,..., \mu_n, \sigma_n^2$ a los datos. $\mu_j = \frac{1}{m}\sum_{i=1}^mx_j^{(i)}$ $\sigma_j^2 = \frac{1}{m}\sum_{i=1^m(}x_j^{(i)} - \mu_j)^2$
3. Dado un nuevo ejemplo $x$, calcular $p(x)$: $p(x) = \prod_{j=1}^np(x_j; \mu_j, \sigma_j^2) = \prod_{j=1}^n\frac{1}{\sqrt{2\pi}\sigma_j}e^{-\frac{(x_j - \mu_j)^2}{2\sigma_j^2}}$
4. Marcar una anomalía si $p(x) < \epsilon$.

Sistemas de Recomendación

• Predecir qué calificación le dará un usuario a un producto.

Recomendaciones Basadas en Contenido

Aprender $\theta_j^{(i)}$ para cada usuario $j$ y película $i$.

$J(\theta^{(j)}) = \frac{1}{2}\sum_{i:r(i,j)=1}(\theta^{(j)}x^{(i)} - y^{(i,j)})^2 + \frac{\lambda}{2}\sum_{k=1}^n(\theta_k^{(j)})^2$

$J(\theta^{(j)}) = \frac{1}{2}\sum_{i:r(i,j)=1}(\theta^{(j)}x^{(i)} - y^{(i,j)})^2 + \frac{\lambda}{2}\sum_{k=1}^n(\theta_k^{(j)})^2$

$x_k^{(i)} := x_k^{(i)} - \alpha\sum_{i:r(i,j)=1}((\theta^{(j)})^Tx^{(i)} - y^{(i,j)})\theta_k^{(j)} + \lambda x_k^{(i)}$

Factorización de Matriz de Bajo Rango

$X = W \times H$

$X = \begin{bmatrix} (\theta^{(1)})^T(x^{(1)}) & (\theta^{(1)})^T(x^{(2)}) & \dots & (\theta^{(1)})^T(x^{(n_m)}) \ (\theta^{(2)})^T(x^{(1)}) & (\theta^{(2)})^T(x^{(2)}) & \dots & (\theta^{(2)})^T(x^{(n_m)}) \ \vdots & \vdots & \ddots & \vdots \ (\theta^{(n_u)})^T(x^{(1)}) & (\theta^{(n_u)})^T(x^{(2)}) & \dots & (\theta^{(n_u)})^T(x^{(n_m)}) \end{bmatrix}$

Aprendizaje Automático a Gran Escala

• Descenso de Gradiente Estocástico (SGD): se utiliza para grandes conjuntos de datos para encontrar el mínimo global de una función de costo.
• Descenso de Gradiente de Mini-Batch: combina la eficiencia del descenso de gradiente por lotes con la velocidad de SGD.
• Aprendizaje en Línea: Aprendizaje continuo a partir de flujos de datos o interacciones de usuarios.

Map Reduce

• Map Reduce: se utiliza el procesamiento paralelo para entrenar modelos a gran escala dividiendo los datos entre múltiples máquinas.

Probabilidad de Cauchy-Schwarz

• Teorema 1: $ \forall x, y ∈ ℝ^n$, $|x ⋅ y| ≤ ||x|| ⋅ ||y||$
• Si $x, y ∈ ℝ^n $, el ángulo $θ$ entre $x$ e $y$ está dado por: $cos(θ) = \frac{x ⋅ y}{||x|| ⋅ ||y||}$
• Vectores Ortogonales: x e y son ortogonales si y sólo si x ⋅ y = 0
• Ley del Paralelogramo: Para cualquier x, y ∈ ℝ^n$: $||x + y||² + ||x - y||² = 2||x||² + 2||y||²$
• Teorema de Pitágoras Si x e y son ortogonales, entonces $||x + y||² = ||x||² + ||y||²$

Espacios Vectoriales

• Un espacio vectorial sobre un campo 𝕂 es un conjunto no vacío 𝑉 que tiene definidas dos operaciones: Suma y Producto escalar

Axiomas de la suma

1. Asociatividad
2. Conmutatividad
3. Existencia del elemento neutro
4. Existencia del elemento opuesto

Axiomas del producto por un escalar

1. Asociatividad
2. Distributividad respecto a la suma de vectores
3. Distributividad respecto a la suma de escalares
4. Existencia del elemento neutro

• A los elementos de 𝑉 los llamaremos vectores.

Este recurso explora la eficiencia de los algoritmos y la notación Big O. Se comparan diferentes tasas de crecimiento comunes, como O(1), O(log n) y $O(n^2)$. Se analiza cómo estas tasas afectan el rendimiento a medida que aumenta el tamaño de la entrada.