Optimisation non linéaire sans contraintes

Optimisation non linéaire sans contraintes

• L'optimisation non linéaire concerne l'optimisation d'une fonction objectif avec des contraintes d'égalité et d'inégalité.
• Si toutes les fonctions sont linéaires, il s'agit d'un programme linéaire.
• Les problèmes non linéaires sont complexes à résoudre.
• L'objectif est de trouver la meilleure solution parmi un ensemble de solutions respectant les contraintes.
• Ce sont des problèmes de minimisation ou de maximisation.

Notions fondamentales

• Classification des problèmes d'optimisation: Les problèmes diffèrent selon la fonction objectif, les contraintes et l'espace de recherche.
• Il existe deux catégories principales: optimisation linéaire et optimisation non linéaire.
• Optimisation linéaire: La fonction objectif et les contraintes sont affines.
  • Un exemple d'expression est: min f(x) = Cx sous Ax ≤ b, x ≥ 0 avec A, b et C étant des matrices et vecteurs
• Optimisation non linéaire: La fonction objectif et/ou certaines contraintes sont non linéaires.
  • Un exemple d'expression est: min f(x) sous gᵢ(x) ≤ 0, où f et gᵢ sont non linéaires.

Différentiabilité (Premier ordre)

• Pour une fonction f : R → R, la dérivée en un point x est la pente de la tangente au graphe de f en ce point.
• La dérivée partielle de f par rapport à x₁ en x est le taux de variation de f lorsqu'on se déplace à partir de x dans la direction de l'axe x₁.

Différentiabilité (Second ordre)

• La matrice Hessienne (∇²f(x)) est une matrice symétrique des dérivées secondes partielles d'une fonction f.

Formule de Taylor

• Formule pour approximer la valeur d'une fonction en un point proche point donné.
• Formule de Taylor au premier ordre:  f(x + h) ≈ f(x) + h′∇ f(x) + Θ(||h||)
• Formule de Taylor au second ordre : f(x + h) ≈ f(x) + h′∇f(x) + (1/2)h′∇² f(x)h + Θ(||h||²)

Signe d'une matrice

• Semi-définie positive:  yᵀAy ≥ 0 pour tout vecteur y.
• Définie positive: yᵀAy > 0 pour tout vecteur y non nul.
• Semi-définie négative: yᵀAy ≤ 0 pour tout vecteur y.
• Définie négative: yᵀAy < 0 pour tout vecteur y non nul.
• On peut déterminer le signe d'une matrice en utilisant ses valeurs propres.