Optimisation non linéaire sans contraintes

Study Notes

L'optimisation non linéaire concerne l'optimisation d'une fonction objectif avec des contraintes d'égalité et d'inégalité.
Si toutes les fonctions sont linéaires, il s'agit d'un programme linéaire.
Les problèmes non linéaires sont complexes à résoudre.
L'objectif est de trouver la meilleure solution parmi un ensemble de solutions respectant les contraintes.
Ce sont des problèmes de minimisation ou de maximisation.

Classification des problèmes d'optimisation: Les problèmes diffèrent selon la fonction objectif, les contraintes et l'espace de recherche.
Il existe deux catégories principales: optimisation linéaire et optimisation non linéaire.
Optimisation linéaire: La fonction objectif et les contraintes sont affines.
- Un exemple d'expression est: min f(x) = Cx sous Ax ≤ b, x ≥ 0 avec A, b et C étant des matrices et vecteurs
Optimisation non linéaire: La fonction objectif et/ou certaines contraintes sont non linéaires.
- Un exemple d'expression est: min f(x) sous gᵢ(x) ≤ 0, où f et gᵢ sont non linéaires.

Pour une fonction f : R → R, la dérivée en un point x est la pente de la tangente au graphe de f en ce point.
La dérivée partielle de f par rapport à x₁ en x est le taux de variation de f lorsqu'on se déplace à partir de x dans la direction de l'axe x₁.

La matrice Hessienne (∇²f(x)) est une matrice symétrique des dérivées secondes partielles d'une fonction f.

Formule pour approximer la valeur d'une fonction en un point proche point donné.
Formule de Taylor au premier ordre: f(x + h) ≈ f(x) + h′∇ f(x) + Θ(||h||)
Formule de Taylor au second ordre : f(x + h) ≈ f(x) + h′∇f(x) + (1/2)h′∇² f(x)h + Θ(||h||²)