Untitled

Importance de la reconnaissance d'objets

• Essentiel pour la survie et pour interagir avec son environnement
• Permet de naviguer, reconnaître les dangers, trouver de la nourriture, interagir socialement et poursuivre des objectifs
• Amélioré par la technologie, notamment les systèmes liés à la sécurité, la santé, le bien-être, la conduite autonome et la détection précoce de maladies dans les images médicales

Défis Computationnels et Neuroscience

• La difficulté à créer des systèmes de reconnaissance d'objets efficaces met en lumière la complexité du traitement visuel dans le cerveau
• La variabilité des objets, le contexte de leur présentation (cooccurrence statistique dans une scène) et les conditions d'éclairage sont des défis à résoudre
• Les systèmes doivent donc être capables d'abstraction, de généralisation à partir d'exemples limités, et similaires à la capacité humaine d'apprendre, pour reconnaître de nouveaux objets ou des objets peu familiers

Problème de reconnaissance d'objets

• L'humain peut facilement identifier un éléphant parmi d'autres objets
• Comprendre comment le système visuel traite le passage de points lumineux (pixels) à des entités entières, comme des éléphants

Éléments Locaux et Globaux

• Analogie des cinq personnes aveugles pour illustrer la perception
• Les cercles blancs représentent les champs récepteurs
• L'ensemble des informations permet d'identifier un éléphant, mais une seule information locale ne le permet pas
• Certains récepteurs peuvent recevoir des informations parasites (ex: zèbre)

Théories de la Reconnaissance des Objets

• Théorie des Gabarits (ou Templates) : Le système visuel reconnaît les objets en faisant correspondre la représentation neuronale de l'image avec une représentation interne de la même forme
• Théorie problématique car il faudrait un gabarit différent pour chaque objet/exemplaire rencontré
• Théorie des Prototypes : Suite de la théorie des gabarits, avec un prototype représentant l'objet moyen, l'appartenance d'un nouvel objet étant déterminé en fonction du prototype
• Eleanor Rosch (1970) introduit l'idée de catégories cognitives organisées autour de prototypes
• Classement plus rapide si l'objet est proche du prototype (ex : le rouge-gorge est considéré plus typique qu'un pingouin)
• Théorie des Exemplaires : Similaire aux gabarits, chaque exemplaire rencontré serait représenté
• Robert Nosofsky (années 80) : Le classement se base sur une comparaison avec des exemples spécifiques passés, plutôt qu'avec un prototype moyen/idéal
• Théorie de la Reconnaissance Généralisée (General recognition theory) : Gregory Ashby (1986) extension multidimensionnelle de SDT (signal detection theory), la reconnaissance d'objet est un processus de décision probabiliste
• Un grand chevauchement de caractéristiques entre deux objets implique qu'ils sont considérés comme deux exemplaires du même objet

Théorie de la Reconnaissance par Composantes

• Biederman soutient que les objets sont reconnus par les identités et les relations de leurs composants (géons)

Géons

• L'hypothèse est basée sur la nature des objets et la relation entre les géons (structuralisme)
• 36 géons permettent de créer un nombre infini d'objets

Modèles Computationnels de Reconnaissance des Objets

• Réseau neuronal profond (DNN) : Réseaux à plusieurs niveaux, entraînés à reconnaître, utilisant de nombreuses instances d'un objet et du feedback, reconnaissance de nouvelles instances possible
• Aujourd'hui : Alexnet
• Un groupe de récepteurs communique avec la couche subséquente qui les traite, comparable au concept des 5 aveugles
• Rivalisent avec les performances du cortex IT chez le singe (Cadieu et al. 2014), contrairement aux modèles bio-inspirés précédents
• Les représentations d'un modèle DNN de reconnaissance d'objet expliquent les représentations mesurées dans IT avec IRMf (Khalig-Razavi, 2014)
• L'utilisation d'un DNN pour modéliser les propriétés visuelles du stimulus montre que les propriétés de niveau intermédiaire et de haut niveau des images peuvent prédire la conscience visuelle et fournir une explication mécanistique du clignement attentionnel (Lindh et al. 2019)

Théorie des Cellules Grand-Mère

• Cellules « grand-mères » anecdote de Jerry Lettvin au MIT, 1969, contribue au débat « localisé » VS « distribué »
• Une étude de Quiroga (années 2000) « confirme » l'existence de ces cellules
• Une cellule de Jennifer Aniston répond à son image et à sa voix, même si elle a une coupe de cheveux différente, et ne s'active pas pour une actrice au look similaire
• Cela semble démontrer la présence de cellules qui répondent à des concepts uniques

Vitrine sur les Neurones dans le Cerveau Humain

• Cortex : 81,8% de la masse cérébrale, 19% des neurones du cerveau

• Aires sous-corticales : 7,8% de la masse cérébrale, 0,8% des neurones du cerveau

• Cervelet : 10,3% de la masse du cerveau, 80,2% des neurones

• L'existence de neurones grand-mères est peu probable malgré les travaux de Quiroga

• Une blessure entraînerait un oubli complet et il y aurait trop de concepts pour le nombre de neurones

Approche Intégrant les Théories

• Ritchie et Carlson essaient d'intégrer TDS, general recognition theory, théorie des exemplaires, théorie des prototypes, etc

• Des personnes ont été invitées à dire si un objet est animé ou inanimé, le TR nécessaire étant lié aux représentations de ces objets dans le cortex

• Plus un objet est loin de la frontière décisionnelle, plus le patient détecte rapidement la catégorie

Drift Diffusion

• Combien d'évidences sont nécessaires avant qu'une décision soit prise ?
• Plus un objet est près de la frontière décisionnelle, moins il faut d'indices pour le détecter (attention à ne pas confondre avec la frontière de ressemblance)
• Un grand chevauchement des caractéristiques de l'objet à reconnaître avec d'autres objets entraîne un temps de décision plus long

Intégration de l'Information pour Construire les Objets

• Des lignes et bordures aux propriétés des objets
• Cellules ganglionnaires rétiniennes et LGN = taches
• V1 = barres
• Aires extrastriées : opérations plus sophistiquées
• Les champs récepteurs du cortex extrastrié sont plus sophistiqués
• Ils répondent à des propriétés visuelles importantes pour la perception d'objets (ex : boudary ownership, quel côté fait partie de l'objet et quel côté de l'arrière-plan)
• Certains neurones répondent à des bordures qui répondent à différentes surfaces/textures dans V2

Vision de Niveau Intermédiaire

• Une étape vaguement définie du traitement visuel

• Intervient après l'extraction des caractéristiques de base de l'image et avant la reconnaissance d'objet et la compréhension de scène

• Implique la perception des bords et des surfaces et détermine les régions d'une image qui doivent être regroupées en objets

• Détection des bords : les cellules de V1 ont des petits champs récepteurs, les détecteurs de bords informatisés sont moins performants que les humains, gradients de texture peuvent induire en erreur les détecteurs informatiques

• Contours illusoires : contour perçu même si rien ne change d'un côté à l'autre du contour

• Théorie de la Gestalt : « Le tout est plus grand que la somme des parties »

• Opposée au structuralisme (éléments de base de la perception)

• Règles de regroupement de Gestalt : Décrivent comment les éléments d'une image apparaissent comme regroupés

• 1. Bonne continuation : Deux éléments auront tendance à se regrouper s'ils se trouvent sur le même contour

• Le contexte modifie la manière de segmenter les mêmes lignes

Segmentation et Regroupement des Textures

• i. Découpage d'une image en régions de propriétés de textures communes : (Segmentation de texture)
• ii. Regroupement des textures dépend des statistiques des textures dans une région par rapport à une autre

Similarité et Proximité

• Les éléments similaires ont tendance à se regrouper, ainsi que les objets proches les uns des autres

Limites à la Similarité

• Similarité et Proximité s'opposent : dans ces cas, il n'y a pas de semblant de cohésion claire

Segmentation et Regroupement des Textures

• Contours parallèles appartiennent probablement au même groupe (parallélisme)

• Régions symétriques sont plus susceptibles d'être considérées comme un groupe (symétrie)

• Région commune

• Éléments sont regroupés s'ils semblent appartenir à une même région, et les éléments connectés ont tendance à se regrouper

Camouflage

• Des animaux exploitent les principes du groupement
• Ces derniers se regroupent dans leur environnement et confondent les observateurs/prédateurs

Comités de la Gestalt

• Ambiguïté et « comités » perceptifs

• Métaphore du fonctionnement de la perception

• Les comités doivent intégrer les avis contradictoires, car de nombreux principes différents et parfois concurrents sont impliqués dans la perception

• La perception résulte d'un consensus qui se dégage lors du traitement de l'information et combine l'information des neurones répondant à différentes caractéristiques

• Règles du comité : Respecter la physique et éviter les accidents. Les Figures ambiguës présentent un stimulus visuel qui donne lieu à plusieurs interprétations possibles. Tendance à obéir aux lois de la physique

• Point de vue accidentel : Position de visualisation, produisant une certaine régularité dans l'image visuelle qui n'est pas présente dans le monde Des Comités de perception supposent que les points de vue ne sont pas, comme dans le Tourisme accidentel

• Discrimination Fond-Figure: Déterminer quelle partie appartient au fond VS à la figure

• Principes de discrimination figure-fond: L'entourage désigne des zones qui ont tendance à entourer d'autres zones qui sont considérées comme des figures, tandis que plus la taille est grande plus l'image à tendance à être considérée comme une figure; il en est de même pour les symétries et le parallélisme

• le Mouvement relatif amène à ce que la vision considère que si une région se déplace devant une autre, la région la plus proche est représentée

• Caractéristique non-accidentelle: Ne dépend pas de la position de visualisation (exacte ou accidentelle) de l'observateur; les Jonctions en T : Indiquent occlusion : le haut du T est devant et la tige est derrière

Jonctions en Y

• Indiquent les coins faisant face à l'observateur

Jonctions Fléchées

• Indiquent les coins opposés à l'observateur

Parties et Ensembles

• Effet de supériorité globale : Les propriétés globales de l'objet priment

Cinq Principes de la Vision Intermédiaire

• Rassemblez ce qui devrait être réuni
• Divisez en deux ce qui devrait être divisé en deux
• Utilisez ce que vous savez
• Évitez les accidents
• Rechercher le consensus et éviter l'ambiguïté: Le Système visuel se contente d'une seule représentation

Bases Neuronales de la Reconnaissance des Objets

• La Reconnaissance de l'objet utilise Imagerie fonctionnelle pour identifier les régions du cerveau qui répondent mieux à certains stimuli
• Méthode de soustraction (classique): Méthode univariée: Comparaison de l'activité cérébrale mesurée dans deux conditions La différence entre les images peut montrer les régions cérébrales spécifiques qui sont activées par un processus mental.
• Méthode de décodage: SCAN IRMf d'un participant qui regarde différentes images de différentes catégories Entraîner un modèle informatique pour reconnaître l'activité cérébrale de chaque catégorie Tester le modèle pour voir s'il peut identifier une image non entraînée en fonction de ce qu'il a appris

Théorie des Voies Ventrales et Dorsales: après le cortex extrastrié: distingue le What et le Where

• What(Ventral): Noms et fonction des objets
• Where( Dorsal): Emplacements et formes des objets

Le Cerveau utilise de manière précise un processus de forward et de feedback pour tirer des conclusions précises de la perception

• Les tailles rectangles dans les modèles sont proportionnelles à la Taille relative des aires
• La Taille des lignes représente nombre de connexions neuronales bidirectionnelles

De plus, les Neurones répondent à des stimuli de plus en plus complexes de V1 à IT. les Cellules de V4 répondent aux stimuli comme les fans, spirales et moulinets

• Il est Difficile de savoir exactement ce à quoi les cellules de V4 répondent, mais c'est plus compliqué que taches ou barres (stimuli entourés en blanc = réponses plus fortes dans V4, couleur pas importante)
• Les aires sont spécifiques

Débat local VS distribué

Nancy Kanwisher → PPA • Ses travaux: Découverte PPA aussi, soutient local James Haxby • Modèle distribué, info traitée par régions cérébrales interconnectées comme hIT (humain Inferior Temporal cortex) • Impliqué dans reconnaissance d'objets générale, malgré absence FFA, comprend que stimulus présenté est un visage, ce qui va contre Nancy Kaniwsher Débat similaire pour what et where

Cortex inférotemporal propriétés du champ récepteur des neurones de hIT Très grands : certains couvrent moitié du champ visuel Ne répondent pas bien aux taches ou aux lignes Répondent bien aux stimuli communs (mains, visages, objets

Partie du cortex cérébral dans la partie inférieure du lobe temporal, importante pour la reconnaissance d'objets, une partie de la voie “quoi” Lorsqu'endommagé → agnosies avec incapacité à reconnaître des objets malgré capacité à les voir

• La reconnaissance d'objets est rapide Aussi peu que 150ms, Si court que petit pas avoir de rétroaction des zones cérébrales ultérieures Le processus feedforward effectue un calcul ou reconnaissance d'objet , une étape neuronale après l'autre et Pas besoin de rétroaction d'une étape ultérieure ou antérieure

• Une lésion en neuropsychologie peut mener à agnosie ou perte de compréhension de concepts liés à la sémantique et également endommager des des Régions du cerveau, ce qui le détruit Retour au paradoxe de la perception: Si le monde est tel que nous le percevons, alors le cerveau aussi OUI ou NON 50% de la lumière visible ambiante traverse le médium oculaire, 20% traverse cellules de la rétine et des les cellules ganglionnaires sortent Moins de 1% de l'info dans récepteurs rétiniens pour au final transférer 40% au cortex visuel (V!)

• Par conséquent: Moins de 0,04% de l'info dans la lumière visible parvient au cortex extrastrié Le solution au pseudo-paradoxe de la perception est que le le monde n'est pas tel que nous le percevons, ce dernier est en fait, dans une large mesure, à l'intérieur de notre cerveau

• En générale Deux segments qui partagent un coin: dans ce contexte, les Segments qui partagent un coin sur l'image rétinienne partagent vraisemblablement un coin dans le monde (élimine la possibilité que la source de l'image soit rouge)

• Les formes ont tendance à être symétriques et pas informes ce qui aide l’interprétation (élimine la possibilité verte)