Ajuste de Dados: Mínimos Quadrados Lineares

Ajuste de Dados

• O objetivo é encontrar a linha que melhor se ajusta a um conjunto de dados.
• Os dados são representados por pares $(x_i, y_i)$ para $i = 1, \dots, n$.
• O modelo é uma linha reta definida por $y = mx + b$.
• É preciso encontrar os valores de $m$ (inclinação) e $b (interseção)$ que minimizem o erro entre a linha e os dados.

Mínimos Quadrados Lineares

• A função de erro é a soma dos quadrados dos resíduos.
• Esta função é definida como:

$E(m, b) = \sum_{i=1}^n (y_i - (mx_i + b))^2$

• A minimização de $E$ é realizada calculando as derivadas parciais com relação a $m$ e $b$ e igualando-as a zero.

$\frac{\partial E}{\partial m} = \sum_{i=1}^n 2(y_i - (mx_i + b))(-x_i) = 0$

$\frac{\partial E}{\partial b} = \sum_{i=1}^n 2(y_i - (mx_i + b))(-1) = 0$

• Resolver este sistema de equações permite obter os valores de $m$ e $b$:

$m = \frac{n\sum_{i=1}^n x_iy_i - (\sum_{i=1}^n x_i)(\sum_{i=1}^n y_i)}{n\sum_{i=1}^n x_i^2 - (\sum_{i=1}^n x_i)^2}$

$b = \frac{\sum_{i=1}^n y_i - m\sum_{i=1}^n x_i}{n}$

Regressão Polinomial

• A regressão polinomial generaliza o ajuste para um polinômio de grau $k$:

$y = a_0 + a_1x + a_2x^2 + \dots + a_kx^k$

• A função de erro é:

$E(a_0, \dots, a_k) = \sum_{i=1}^n (y_i - (a_0 + a_1x_i + a_2x_i^2 + \dots + a_kx_i^k))^2$

• Para minimizar $E$ , calcula-se as derivadas parciais com relação a $a_0, \dots, a_k$ e iguala-se a zero:

$\frac{\partial E}{\partial a_j} = \sum_{i=1}^n 2(y_i - (a_0 + a_1x_i + a_2x_i^2 + \dots + a_kx_i^k))(-x_i^j) = 0$

• Isso resulta em um sistema de $k + 1$ equações lineares com $k + 1$ incógnitas, resolvido por meio de álgebra linear.

Mínimos Quadrados Não Lineares

• Às vezes, é necessário ajustar uma função não linear aos dados:

$y = f(x; \theta)$

- Onde $\theta$ é o vetor de parâmetros da função.
- Um exemplo é $f(x; \theta) = a e^{-bx}$ onde $\theta = (a, b)$.

• A função de erro é definida como:

$E(\theta) = \sum_{i=1}^n (y_i - f(x_i; \theta))^2$

• A minimização de $E$ é alcançada calculando as derivadas parciais com relação a $\theta$: e igualando-as a zero

$\frac{\partial E}{\partial \theta_j} = \sum_{i=1}^n 2(y_i - f(x_i; \theta))(-\frac{\partial f}{\partial \theta_j}) = 0$

• O resultado é um sistema de equações não lineares, resolvido por algoritmos de otimização não linear.
• Estes algoritmos são iterativos, começando com uma estimativa inicial para os parâmetros, refinando-a até que a função de erro seja minimizada.
• Métodos comuns incluem o gradiente descendente, o método de Newton e o algoritmo de Levenberg-Marquardt.

Teorema de Bayes

• O Teorema de Bayes descreve a probabilidade de um evento com base no conhecimento prévio de condições relacionadas.
• A fórmula do Teorema de Bayes é:

$P(A|B) = \frac{P(B|A)P(A)}{P(B)}$

- $P(A|B)$: Probabilidade a posteriori de  $A$ , dado que  $B$  é verdadeiro.
- $P(B|A)$: Probabilidade de  $B$ , dado que  $A$  é verdadeiro.
- $P(A)$: Probabilidade a priori de  $A$.
- $P(B)$: Probabilidade a priori de  $B$.

Dedução do Teorema de Bayes

• Considerando dois eventos $A$ e $B$ , a probabilidade de ambos ocorrerem pode ser expressa como:

$P(A \cap B) = P(A|B)P(B) = P(B|A)P(A)$

• Isolando $P(A|B)$, obtém-se o Teorema de Bayes:

$P(A|B) = \frac{P(B|A)P(A)}{P(B)}$

Exemplo Prático

• Cálculo da probabilidade de ter uma doença dado um teste positivo.
• $A$: Pessoa tem a doença.
• $B$: Teste deu positivo.

$P(A|B) = \frac{P(B|A)P(A)}{P(B)}$

- $P(A|B)$: Probabilidade de ter a doença, dado que o teste deu positivo.
- $P(B|A)$: Probabilidade do teste dar positivo, dado que tem a doença (sensibilidade).
- $P(A)$: Probabilidade de ter a doença (prevalência).
- $P(B)$: Probabilidade do teste dar positivo.

• É amplamente usado em medicina, análise de risco e IA.