Descenso de gradiente para redes neuronales

Derivación de las reglas de entrenamiento por descenso de gradiente

• Una red neuronal define una relación funcional entre un vector de entrada $\mathbf{x}$ y un vector de salida $\mathbf{y}$, dependiendo de un conjunto de parámetros $\mathbf{w}$ (los pesos de las conexiones): $\mathbf{y} = \mathbf{f}(\mathbf{x}, \mathbf{w})$.

Esquema general

• Dado un conjunto de entrenamiento de $P$ pares de entrada-salida ${\mathbf{x}^\mu, \mathbf{d}^\mu}{\mu=1...P}$, se define una función de error $E$ como una función de los parámetros $\mathbf{w}$: $E(\mathbf{w}) = \sum{\mu=1}^P E^\mu(\mathbf{w}) = \sum_{\mu=1}^P D[\mathbf{f}(\mathbf{x}^\mu, \mathbf{w}), \mathbf{d}^\mu]$, donde $D[\mathbf{y},\mathbf{d}]$ es una medida de distancia entre la salida real $\mathbf{y}$ y la salida deseada

Objetivo del aprendizaje

• El objetivo del aprendizaje es encontrar el conjunto óptimo de parámetros $\mathbf{w}^*$ que minimice la función de error $E(\mathbf{w})$.
• El descenso de gradiente es un algoritmo de optimización iterativo que actualiza los parámetros $\mathbf{w}$ en la dirección opuesta al gradiente de la función de error: $\mathbf{w}(t+1) = \mathbf{w}(t) - \eta \frac{\partial E}{\partial \mathbf{w}}$, donde $\eta$ es la tasa de aprendizaje, que controla el tamaño del paso de la actualización.

Descenso de gradiente en línea

• En el descenso de gradiente en línea, los parámetros se actualizan después de cada ejemplo de entrenamiento: $\mathbf{w}(t+1) = \mathbf{w}(t) - \eta \frac{\partial E^\mu}{\partial \mathbf{w}}$, donde $\mu$ es el índice del ejemplo de entrenamiento actual.

Algoritmo de retropropagación

• El algoritmo de retropropagación es una aplicación específica del descenso de gradiente a los perceptrones multicapa (MLP).
• En un MLP, la salida de cada neurona es una función no lineal de una suma ponderada de sus entradas: $y_i = g\left(\sum_j w_{ij} x_j\right)$, donde $y_i$ es la salida de la neurona $i$, $x_j$ es la salida de la neurona $j$ en la capa anterior, $w_{ij}$ es el peso de la conexión entre la neurona $j$ y la neurona $i$, y $g(\cdot)$ es la función de activación.

Cálculo del gradiente de la función de error

• Para derivar el algoritmo de retropropagación, es necesario calcular el gradiente de la función de error con respecto a los pesos.
• Usando la regla de la cadena, se puede escribir: $\frac{\partial E^\mu}{\partial w_{ij}} = \frac{\partial E^\mu}{\partial y_i} \frac{\partial y_i}{\partial a_i} \frac{\partial a_i}{\partial w_{ij}}$, donde $a_i = \sum_j w_{ij} x_j$ es la activación de la neurona $i$.

Definición de δi

• Definiendo $\delta_i = \frac{\partial E^\mu}{\partial y_i} \frac{\partial y_i}{\partial a_i} = \frac{\partial E^\mu}{\partial a_i}$, se tiene: $\frac{\partial E^\mu}{\partial w_{ij}} = \delta_i x_j$.
• La regla de actualización para los pesos se convierte en: $w_{ij}(t+1) = w_{ij}(t) - \eta \delta_i x_j$.

Casos para el cálculo de δi: Capa de salida

• Si la neurona $i$ está en la capa de salida, entonces: $\delta_i = \frac{\partial E^\mu}{\partial y_i} \frac{\partial y_i}{\partial a_i} = \frac{\partial D[y_i, d_i]}{\partial y_i} g'(a_i)$, donde $d_i$ es la salida deseada para la neurona $i$ y $g'(\cdot)$ es la derivada de la función de activación.
• La forma específica de $\delta_i$ depende de la elección de la medida de distancia $D[\mathbf{y}, \mathbf{d}]$ y la función de activación $g(\cdot)$.
• Por ejemplo, al usar el error cuadrático $D[y_i, d_i] = \frac{1}{2}(y_i - d_i)^2$ y la función de activación sigmoide $g(a_i) = \frac{1}{1 + e^{-a_i}}$, entonces: $\delta_i = (y_i - d_i) y_i (1 - y_i)$.

Casos para el cálculo de δi: Capa oculta

• Si la neurona $i$ está en una capa oculta, entonces se puede usar la regla de la cadena para escribir: $\delta_i = \frac{\partial E^\mu}{\partial a_i} = \sum_k \frac{\partial E^\mu}{\partial a_k} \frac{\partial a_k}{\partial y_i} \frac{\partial y_i}{\partial a_i} = \sum_k \delta_k w_{ki} g'(a_i)$, donde la suma es sobre todas las neuronas $k$ en la siguiente capa.
• Esta ecuación muestra que $\delta_i$ se puede calcular recursivamente, comenzando desde la capa de salida y retrocediendo a través de la red.

Átomo de Hidrógeno: Introducción

• El átomo de hidrógeno es el átomo más sencillo, formado por un protón y un electrón.
• La solución de la ecuación de Schrödinger proporciona la base para entender átomos y moléculas más complejos.

Ecuación de Schrödinger en Coordenadas Esféricas

• La ecuación de Schrödinger se expresa mejor en coordenadas esféricas $(r, \theta, \phi)$.
• La ecuación es $-\frac{\hbar^2}{2\mu}\nabla^2\Psi(r, \theta, \phi) - \frac{e^2}{4\pi\epsilon_0 r}\Psi(r, \theta, \phi) = E\Psi(r, \theta, \phi)$
• $\hbar$ es la constante de Planck reducida
• $\mu$ es la masa reducida del sistema electrón-protón
• $e$ es la carga elemental
• $\epsilon_0$ es la permitividad del vacío
• $E$ es la energía del electrón

Separación de Variables

• La función de onda se expresa como el producto de las funciones radial y angular: $\Psi(r, \theta, \phi) = R(r)Y(\theta, \phi)$.
• Se obtienen la ecuación radial y la ecuación angular.

Ecuación Angular y Armónicos Esféricos

• La ecuación angular es $\Lambda^2 Y(\theta, \phi) = l(l+1)Y(\theta, \phi)$, donde $\Lambda^2$ es el operador de momento angular y $l$ es el número cuántico de momento angular.
• Las soluciones son los armónicos esféricos $Y_{l,m}(\theta, \phi)$, donde $m$ es el número cuántico magnético.

Ecuación Radial y Soluciones

• La ecuación radial es $\left[-\frac{\hbar^2}{2\mu}\frac{1}{r^2}\frac{d}{dr}\left(r^2\frac{dR(r)}{dr}\right) + \frac{\hbar^2 l(l+1)}{2\mu r^2} - \frac{e^2}{4\pi\epsilon_0 r}\right]R(r) = ER(r)$.
• La solución da las funciones de onda radiales $R_{n,l}(r)$, donde $n$ es el número cuántico principal.

Números Cuánticos

• Número cuántico principal (n): Determina el nivel de energía del electrón, $n = 1, 2, 3,...$
• Número cuántico de momento angular (l): Determina la forma del orbital electrónico, $l = 0, 1, 2,..., n-1$.
• Número cuántico magnético (m): Determina la orientación del orbital en el espacio, $m = -l, -l+1,..., 0,..., l-1, l$.

Niveles de Energía

• Los niveles de energía se dan por $E_n = -\frac{\mu e^4}{8\epsilon_0^2 h^2 n^2} = -\frac{13.6 \text{ eV}}{n^2}$, donde $E_n$ es la energía del n-ésimo nivel.

Funciones de Onda

• Las funciones de onda completas son $\Psi_{n,l,m}(r, \theta, \phi) = R_{n,l}(r)Y_{l,m}(\theta, \phi)$, que describen la amplitud de probabilidad de encontrar el electrón en un punto del espacio.

Conclusión

• La solución de la ecuación de Schrödinger proporciona una comprensión detallada de la estructura electrónica del átomo de hidrógeno.

Ejercicios de Examen de Algoritmos y Estructuras de Datos, Semestre de Verano 2012

• Detalle de las preguntas y tareas del examen.

Tarea 1 (10 Puntos)

Construcción de un Montículo Máximo

• Realizar el algoritmo Build-Max-Heap en un array dado.

Verificación de Montículo Máximo

• Determinar si un array dado es un Montículo Máximo y justificar la respuesta.

Tarea 2 (10 Puntos)

Resolución de una Ecuación de Recurrencia

• Determinar una cota asintótica ajustada para una ecuación de recurrencia dada usando el Teorema Maestro.

Ordenación de Funciones por Crecimiento Asintótico

• Ordenar funciones dadas por su crecimiento asintótico y justificar el orden.

Tarea 3 (10 Puntos)

Algoritmo para Encontrar el Número Más Grande

• Describir un algoritmo para encontrar el número más grande en un array en tiempo $O(n)$.

Algoritmo para Encontrar los Números Más Grande y Más Pequeño

• Describir un algoritmo para encontrar los números más grande y más pequeño en un array en tiempo $O(n \log n)$.

Tarea 4 (10 Puntos)

Inserción y Eliminación en un Árbol de Búsqueda Binario

• Insertar números dados en un árbol de búsqueda binario inicialmente vacío.

Eliminación de un Número del Árbol

• Luego, eliminar un número específico del árbol y mostrar el árbol después de la eliminación.

Tarea 5 (10 Puntos)

Definición de Colisión en Tablas Hash

• Definir el concepto de colisión en el contexto de tablas hash.

Explicación del Hashing Doble

• Explicar el principio del hashing doble para la resolución de colisiones.
• Indicar la fórmula para la secuencia de sondeo.
• Especificar qué consideraciones deben tenerse en cuenta al elegir las funciones hash.

Álgebra Relacional: Introducción (Capítulo 2)

• El álgebra relacional es un lenguaje de consulta teórico que opera sobre relaciones (tablas) y produce otras relaciones como salida.
• Proporciona un conjunto de operadores para manipular los datos en las relaciones.

Operadores Básicos de Álgebra Relacional

Operadores de Conjuntos

• Tratan las relaciones como conjuntos de tuplas.
• Unión ($\cup$): Devuelve todas las tuplas que están en R o en S o en ambos.
• Intersección($\cap$): Devuelve todas las tuplas que están tanto en R como en S.
• Diferencia($−$): Devuelve todas las tuplas que están en R pero no en S.
• Producto cartesiano($\times$): Devuelve todas las combinaciones posibles de tuplas de R y de S

Restricciones de los Operadores de Conjuntos

• R y S deben tener los mismos atributos para unión, intersección y diferencia.
• Los atributos deben tener los mismos dominios

Operadores Relacionales

• Se detallan los operadores relacionales que son específicos para las relaciones

Selección($\sigma$)

$\sigma_condición(R)$ Devuelve todas las tuplas de R que satisfacen la condición.

• La condición puede ser una expresión booleana usando los operadores $=, ≠, >, ≥, álgebra lineal y geometría vectorial

Introducción

El documento introduce los vectores en el espacio real n-dimensional $\mathbb{R}^n$, explorando operaciones vectoriales básicas como la adición y la multiplicación escalar.

Vectores en $\mathbb{R}^n$

• Un vector en $\mathbb{R}^n$ se define como una lista ordenada de n números reales, representados como $\mathbf{v} = (v_1, v_2,..., v_n)$, donde $v_1, v_2,..., v_n$ son las componentes del vector.

Operaciones Vectoriales

Se describen las dos operaciones vectoriales fundamentales:

Adición de Vectores

La adición de dos vectores $\mathbf{u} = (u_1, u_2,..., u_n)$ y $\mathbf{v} = (v_1, v_2,..., v_n)$ en $\mathbb{R}^n$ se define componente a componente: $\mathbf{u} + \mathbf{v} = (u_1 + v_1, u_2 + v_2,..., u_n + v_n)$.

Multiplicación Escalar

La multiplicación de un vector $\mathbf{v} = (v_1, v_2,..., v_n)$ por un escalar $c \in \mathbb{R}$ se define como: $c\mathbf{v} = (cv_1, cv_2,..., cv_n)$.

Propiedades de las Operaciones Vectoriales

Para todos los vectores $\mathbf{u}, \mathbf{v}, \mathbf{w} \in \mathbb{R}^n$ y escalares $a, b \in \mathbb{R}$, se listan las propiedades que se cumplen como la conmutatividad y asociatividad de la adición.

Combinación Lineal

Una combinación lineal de vectores $\mathbf{v}_1, \mathbf{v}_2,..., \mathbf{v}_k$ en $\mathbb{R}^n$ se define como:

$c_1\mathbf{v}_1 + c_2\mathbf{v}_2 +... + c_k\mathbf{v}_k$

donde $c_1, c_2,..., c_k$ son escalares.

Trading Algorítmico y Eventos del Libro de Órdenes

El texto describe el trading de alta frecuencia (HFT) y su dependencia de eventos del libro de órdenes.

Introducción

El trading algorítmico de alta frecuencia se caracteriza por la velocidad, posiciones a corto plazo y altas tasas de rotación.

Estrategias

Utilizan algoritmos propietarios para analizar datos del mercado e identificar oportunidades fugaces.

Eventos del Libro de Órdenes

Son cruciales ya que ofrecen información valiosa sobre la dinámica del mercado y la liquidez.

Tipos de Eventos

Se describen varios tipos de eventos del libro de órdenes:

• Llegada de Orden Límite
• Cancelación de Orden Límite
• Llegada de Orden de Mercado
• Ejecución (Trade)

Impacto de los Eventos

Los eventos del libro de órdenes influyen en:

• Descubrimiento de Precios
• Liquidez
• Microestructura del Mercado
• Desequilibrio del libro de órdenes

Fórmula de Desequilibrio

La fórmula para el ratio de desequilibrio del libro de órdenes es:

$\text{Ratio de Desequilibrio} = \frac{\text{Volumen de Peticiones} - \text{Volumen de Ofertas}}{\text{Volumen de Peticiones} + \text{Volumen de Ofertas}}$

Estrategias HFT Basadas en Eventos del Libro de Órdenes

Se mencionan varias estrategias HFT, incluyendo:

• Creación de Mercado
• Arbitraje Estadístico
• Anticipación de Órdenes
• Quote Stuffing

Desafíos y Consideraciones

Se destacan varios desafíos y consideraciones importantes:

• Calidad de los Datos
• Latencia
• Impacto en el Mercado
• Regulación

Mecánica de Fluidos en Ingeniería Química

Estática de Fluidos

Presión

• Definición: Fuerza normal ejercida por un fluido por unidad de área.
• Ecuación: $P = \frac{F}{A}$.
• Unidades: Pascal (Pa), bar, psi.
• Escalar.
• Aumenta con la profundidad en un fluido estático: $$P = P_0 + \rho gh$$.

Variación de Presión en un Fluido Estático

• Para fluido de densidad constante $(\rho)$, la variación de presión con la profundidad $(h)$ es:
  • $P$: Presión a profundidad $h$
  • $P_0$: Presión en la superficie
  • $g$: Aceleración debido a la gravedad

Manómetros

• Dispositivos para medir diferencias de presión.
  • Tipos: tubo en U, diferencial, inclinado.

Flotación

• Fuerza ascendente que un fluido ejerce oponiéndose al peso de un objeto sumergido.
• Principio de Arquímedes: la fuerza de flotación equivale al peso del fluido desplazado por el objeto.

Dinámica de Fluidos

Conceptos básicos

• Estudio de fluidos en movimiento.
  • Flujo laminar: partículas se mueven suavemente en capas.
• Flujo turbulento: Movimiento caótico y desordenado. Densidad y la viscosidad.

Leyes de Conservación

Conservación de masa (ecuación de continuidad)

• La tasa a la que la masa entra en un sistema es igual a la tasa a la que la masa sale del sistema más la acumulación de masa dentro del sistema.

Conservación del momento (ecuaciones de Navier-Stokes)

• Describe el movimiento de sustancias fluidas viscosas. Representa las fuerzas que actúan sobre un elemento de fluido.

Aplicaciones de la Ecuación de Bernoulli

• Se describen varios dispositivos que utilizan el principio de Bernoulli para medir el flujo de fluidos.

Flujo en Tuberías

Laminar vs. Turbulento

Se contrastan el flujo laminar y el turbulento.

Número de Reynolds (Re)

• Se introduce el número de Reynolds como criterio para predecir el tipo de flujo: $Re = \frac{\rho v D}{\mu}$

Pérdida de Carga

• Se discute la pérdida de carga como la reducción en la carga total del fluido debido a la fricción.

Bombas

• Se mencionan los distintos tipos de bombas.

Análisis Dimensional

Se presenta el análisis dimensional.

Resumen Ejecutivo y Análisis Financiero:

Introducción

• El informe analiza el impacto del tipo de cambio en las finanzas empresariales y propone estrategias de cobertura.

Impacto del Tipo de Cambio

• La empresa está expuesta a fluctuaciones cambiarias al comprar insumos extranjeros.
• El aumento del tipo de cambio encarece costos, y su disminución reduce ingresos de exportación.

Estrategias de Cobertura Cambiaria

• Cobertura Natural: Igualar flujos de ingresos y egresos en la misma divisa.
• Forward: Contrato a plazo para fijar el tipo de cambio.
• Opciones: Contrato que da el derecho, pero no la obligación, de comprar o vender divisas.

Conclusiones y Recomendaciones

• Las fluctuaciones del tipo de cambio tienen un impacto significativo en las finanzas de la empresa.
• Es necesario evaluar la exposición al riesgo cambiario, diseñar una estrategia de cobertura adaptada y monitorear el mercado cambiario.
• Diagrama del inversor CMOS estático, su operación, y características de transferencia de voltaje (VTC)
• Un circuito simple con transistores PMOS y NMOS, alimentación y tierra.
• La operación se realiza en varias regiones dependiendo del voltaje de entrada $V_{in}$.

Operación

• Si Vin = 0, NMOS está apagado y PMOS encendido, por lo que Vout está conectado a VDD.
• Si Vin = VDD, PMOS está apagado y NMOS encendido, Vout está conectado a Tierra.
• Característica de Transferencia de Voltaje (VTC)
• También conocida como "característica estática" o "curva de voltaje."
• Gráfico de Vout frente a Vin

Regiones de Operación

• describe VTC en 5 regiones.

Puntos Importantes de la VTC

• $V_{OH}$: voltaje alto de salida
• $V_{OL}$: voltaje bajo de salida
• $V_ M$: umbral de conmutación (Vin = Vout)
• $V_{IL}$: voltaje de entrada bajo (máximo voltaje de entrada interpretado como bajo)
• $V_{IH}$: voltaje de entrada alto (mínimo voltaje de entrada garantizado a ser interpretado como alto)

Márgenes de Ruido

• Describe las formulas de los margenes de ruido con voltaje alto y bajo $NM_H = V_{OH} - V_{IH}$ $NM_L = V_{IL} - V_{OL}$

Impacto de las Variaciones del Proceso

• Las variaciones durante el proceso de construccion de los chips pueden causar variaciones en $V_{TH}$
• Si $V_{TH,N}$ aumenta y/o $|V_{TH,P}|$ aumenta, $V_M$ aumenta
• Si $V_{TH,N}$ disminuye y/o $|V_{TH,P}|$ disminuye $V_M$ disminuye

Impacto de la Temperatura

• La temperatura de los microchips afecta el voltaje de umbral $V_{TH}$
• $V_{TH}$ disminuye conforme aumenta la temperatura
• $V_M$ disminuye conforme aumenta la temperatura

Impacto de las variaciones de $V_{DD}$

• las variaciones del suministro voltajes pueden afectar tambien las caracteristicas del chip logica
• $V_M$ aumenta conforme aumenta $V_{DD}$
• $V_M$ disminuye conforme disminuye $V_{DD}$

Capítulo 2: La presión arterial.

Definición

• La presión arterial (PA) es la fuerza ejercida por la sangre sobre las paredes de las arterias. Se mide en milímetros de mercurio (mmHg) y se expresa con dos cifras:

  • Presión arterial sistólica (PAS): Presión máxima en las arterias cuando el corazón se contrae.
  • Presión arterial diastólica (PAD): Presión mínima en las arterias cuando el corazón se está relaxando.

• La presión arterial está influenciada por varios factores, incluyendo:

  • Volumen sanguíneo
  • Fuerza de la contracción del corazón
  • Elasticidad de las arterias
  • Resistencia vascular periférica

Importancia de medir la presión arterial

• La medición de la presión arterial es un examen médico común e importante, ya que permite detectar y controlar la hipertensión arterial (HTA).

Material de medición de la presión arterial: Tensión arterial manual (esfigmomanómetro)

Consta de:

• Un manguito inflable
• Un manómetro (para medir la presión)
• Una bombilla (para inflar el manguito)
• Un estetoscopio

Preparación del paciente:

• Reposar al menos 5 minutos antes.
• Sentado cómodamente, apoyando la espalda y con los pies apoyados en el suelo.
• Escoger la talla correcta del manguito.
• Evite hablar o moverse durante la medición.

Técnica de medición de la presión arterial con un esfigmomanómetro manual:

• Palpar para la arteria humeral en la curva del codo.
• Colocar el estetoscopio en la arteria humeral.
• Inflar el manguito rápidamente hasta que el pulso radial desaparezca, luego aumentar la presión en otros 20-30 mmHg.
• Desinflar lentamente el manguito a una velocidad de 2-3 mmHg por segundo.
• Leer la TAS al primer sonido de Korotkoff, leer la TAD cuando no haya ningun sonido

Interpretación de los resultados

• Categorías de presión arterial según la TAS y la TAD:

• Es importante tener en cuenta que estos valores son indicativos y pueden variar según la edad, el sexo y el estado general de salud del paciente.

Conclusión

• La medición de la presión arterial es un acto sencillo e importante que ayuda a detectar y controlar la hipertensión.
• Es importante seguir las reglas de buenas practicas