Principios computacionales de la neurociencia del movimiento PDF

2000 Nature America Inc. - http://neurosci.nature.com Suscríbete a DeepL Pro para poder traducir a...

2000 Nature America Inc. - http://neurosci.nature.com Suscríbete a DeepL Pro para poder traducir archivos de mayor tamaño. Más información disponible en www.DeepL.com/pro. revise Principios computacionales de la neurociencia del movimiento Daniel M. Wolpert1 y Zoubin Ghahramani2 1 Departamento Sobell de Neurofisiología, Instituto de Neurología, Queen Square, University College London, Londres WC1N 3BG, Reino Unido 2 Gatsby Computational Neuroscience Unit, Queen Square, University College London, London WC1N 3AR, UK La correspondencia debe dirigirse a D.M.W. ([email protected]) Del estudio computacional del control motor han surgido principios unificadores del movimiento. Revisamos varios de estos principios y mostramos cómo se aplican a procesos como la planificación motora, el control, la estimación, la predicción y el aprendizaje. Nuestro objetivo es demostrar cómo los modelos específicos que surgen del enfoque computacional proporcionan un 2000 Nature America Inc. - http://neurosci.nature.com marco teórico para la neurociencia del movimiento. número de átomos del universo. Es evidente que El estudio computacional del control motor se centra esto requiere una simple tabla de búsqueda de las fundamentalmente en la relación entre las señales sensoriales y activaciones motoras a la retroalimentación las órdenes motoras. La transformación de las órdenes motoras sensorial y viceversa. Afortunadamente para el en sus consecuencias sensoriales se rige por la física del control, generalmente se puede extraer una entorno, el sistema musculoesquelético y los receptores sensoriales. La transformación de las señales sensoriales en representación compacta con una dimensionalidad órdenes motoras viene determinada por los procesos del mucho menor que el conjunto completo de sensores sistema nervioso central (SNC). Gran parte de la complejidad y motores, conocida como el "estado" del sistema. de nuestro comportamiento surge del simple acoplamiento de Junto con los parámetros fijos del sistema y las estas dos transformaciones. ecuaciones que rigen la física, el estado contiene toda la información variable en el tiempo necesaria Aunque no es necesario que el SNC represente la para predecir o controlar el futuro del sistema. Por transformación motor-sensorial, ya que ésta es implementada por el mundo físico, están surgiendo interesantes desarrollos ejemplo, conocer la posición actual, la velocidad y computacionales y experimentales a partir de la comprensión el giro de una pelota lanzada, es decir, el estado de de que el SNC representa internamente esta transformación. la pelota, permite predecir su trayectoria futura sin Los sistemas que modelan aspectos de esta transformación se necesidad de conocer las configuraciones de todos conocen como "modelos internos avanzados" porque modelan la los átomos de la pelota. relación causal entre las acciones y sus secuencias. La función principal de estos modelos es predecir el comportamiento del cuerpo y del mundo, por lo que utilizamos los términos "predictores" y "modelos de avance" como sinónimos. Los sistemas que implementan las transformaciones opuestas, de consecuencias deseadas a acciones, se conocen como "modelos internos inversos". Utilizamos el término "modelo interno" para enfatizar que el SNC está modelando el sistema sen- sorimotor, y que éstos no son modelos del SNC. Bellman1 señaló que, al representar tales transformaciones, el almacenamiento y el número de cálculos necesarios aumentan exponencialmente con la dimensión de las matrices sensoriales y motoras, un problema que denominó "la maldición de la dimensionalidad". Esto se ilustra claramente si consideramos los aproximadamente 600 músculos del cuerpo humano como si estuvieran, para simplificar al máximo, con- traídos o relajados. Esto da lugar a 2.600 posibles activaciones motoras, más que el 1212 suplemento de neurociencia de la naturaleza - volumen 3 - noviembre de 2000  2000 Nature America Inc. - http://neurosci.nature.com En general, el estado, por ejemplo el conjunto de activaciones de grupos de músculos (sinergias) o la posición y velocidad de la mano, cambia rápida y continuamente dentro de un movimiento. Sin embargo, otros parámetros clave cambian discretamente, como la identidad de un objeto manipulado, o en una escala de tiempo más lenta, como la masa de la extremidad. Nos referimos a estos parámetros discretos o que cambian lentamente como el "contexto" del movimiento. Nuestra capacidad para generar un comportamiento motor preciso y apropiado depende de la adaptación de nuestras órdenes motoras al contexto de movimiento predominante. El bucle sensoriomotor (Fig. 1) puede dividirse en tres etapas, que rigen el comportamiento global del sistema sensoriomotor. La primera etapa especifica la orden motora generada por el SNC dado el estado y una tarea concreta (Fig. 1, arriba). La segunda etapa determina cómo cambia el estado en función de la orden motora (Fig. 1, derecha). La tercera cierra el bucle especificando la retroalimentación sensorial dado este nuevo estado (Fig. 1, izquierda). Estas tres etapas se representan en el SNC como modelos internos: el modelo inverso, el modelo dinámico directo y el modelo sensorial directo, respectivamente. Mostraremos cómo todos los temas principales del control motor computacional, como la planificación, el control y el aprendizaje, surgen al considerar cómo las tareas determinan el comportamiento, se generan los comandos motores, se estiman y predicen los estados y contextos, y se representan y aprenden los modelos internos. Con la llegada de las tecnologías de realidad virtual y las nuevas interfaces robóticas, ha sido posible, por primera vez, crear sofisticados entornos controlados por ordenador. Tener tal control sobre la física del mundo con el que interactúan los sujetos ha permitido realizar pruebas detalladas de modelos computacionales de planificación, control y aprendizaje (por ejemplo, refs. 2-6). Tarea: planificación motriz Las tareas cotidianas suelen especificarse a un nivel alto, a menudo simbólico, como beber agua de un vaso. Sin embargo, el sistema motor debe trabajar a un nivel detallado, especificando las activaciones musculares que conducen a las rotaciones de las articulaciones y la trayectoria de la mano en el espacio. Es evidente que existe una brecha entre la tarea de alto nivel y el control de bajo nivel. De hecho, casi cualquier tarea puede realizarse, en principio, de infinitas maneras diferentes. Pensemos, por ejemplo, en la cantidad de maneras, algunas sensatas y otras absurdas, de llevarse un vaso de agua a los labios. Teniendo en cuenta todas estas posibilidades, es sorprendente que casi todos los estudios sobre cómo la 1212 suplemento de neurociencia de la naturaleza - volumen 3 - noviembre de 2000  2000 Nature America Inc. - http://neurosci.nature.com revise Fig. 1. El bucle sensoriomotor. El bucle sensoriomotor, que muestra la generación de órdenes motoras (arriba), la transición de estados (derecha) y la generación de Motor Comman d retroalimentación sensorial (izquierda). Context o Centro, representación interna de estas etapas dentro del SNC. sistema motor resuelve una tarea determinada muestra patrones de movimiento altamente estereotipados, [tarea, estado, contexto] comando motor tanto entre repeticiones de una tarea como entre individuos en la misma tarea. Del mismo modo que poder Modelo inverso clasificar diferentes rutas de Nueva Representacione York a Londres nos permite seleccionar s internas del SNC Adelante Adelante entre las disponibles, disponer de un Sensorial Dinámico criterio con el que evaluar los posibles Context o Modelo Modelo Context o Motor movimientos para una tarea permitiría al Retroalim Comman d SNC seleccionar el mejor. El control entación sensorial óptimo es un marco elegante para tratar Estad 2000 Nature America Inc. - http://neurosci.nature.com o un problema de selección de este tipo y, Estado anterior por lo tanto, puede traducirse de tareas de alto nivel a programas motores detallados. En concreto, un coste se especifica como una función de el movimiento y la tarea, y se ejecuta el [estado, orden motriz, contexto] información [estado anterior, orden del motor, contexto] estado sensorial movimiento con el menor coste. El chal- l reto ha sido intentar hacer ingeniería inversa de la función Las fibras trepadoras, que pueden actuar como señal de coste, es decir, qué se está optimizando, a partir de de entrenamiento para el cerebelo, codifican estos patrones de movimiento observados y estudios de errores de alcance al final de un movimiento10. perturbación. Aunque la función de coste especifica el Se han propuesto modelos de control óptimo del movimiento movimiento óptimo, cómo nos acercamos a este basados en la maximización de la suavidad de la trayectoria de óptimo para movimientos nuevos, no ensayados, es la mano7 y de las órdenes de torsión8. Aunque estos modelos una cuestión abierta. reproducen con éxito una serie de datos empíricos, no está claro por qué es importante la suavidad ni cómo la mide el SNC. Mando motor: control Además, estos modelos se limitan a un único sistema motor, Se han propuesto varios modelos sobre cómo se como el brazo. Recientemente, se ha propuesto un modelo que generan las órdenes motoras. Una de las primeras proporciona un coste unificador para los movimientos de ojos y propuestas fue que el SNC especifica brazos dirigidos a un objetivo9. Este modelo asume que hay ruido en la orden motora y que la cantidad de ruido es proporcional a la magnitud de la orden motora. En presencia de tal ruido, la misma secuencia de órdenes motoras intencionadas, si se repite muchas veces, conducirá a una distribución de probabilidad sobre los movimientos. Algunos aspectos de esta distribución, como la dispersión de posiciones o velocidades de la mano al final del movimiento, pueden controlarse modificando la secuencia de órdenes motoras. En este modelo, la tarea especifica cómo se penalizan los aspectos de la distribución, y esto forma el coste. Por ejemplo, en un movimiento de puntería sencillo, la tarea consiste en minimizar el error final, medido por la varianza respecto al objetivo. La figura 2 muestra las consecuencias de dos posibles secuencias de comandos motores, una de las cuales conduce a una mayor variabilidad del punto final (elipsoide azul) que la otra. El objetivo de la estrategia de control óptimo es minimizar el volumen del elipsoide, siendo así lo más preciso posible. Este modelo predice con precisión las trayectorias tanto de los movimientos sacádicos de los ojos como de los brazos. Los movimientos no suaves requieren grandes órdenes motoras, que generan un mayor ruido; la suavidad conduce así a la precisión, pero no es un objetivo en sí mismo. El coste, el error de movimiento, es relevante desde el punto de vista del comportamiento y fácil de medir para el SNC. suplemento de neurociencia de la naturaleza - volumen 3 - 1213 noviembre de 2000  2000 Nature America Inc. - http://neurosci.nature.com parámetros espaciales y se basa en las propiedades elásticas de los músculos y los bucles reflejos para mover la extremidad11-13. Por ejemplo, en una forma de este modelo, un conjunto de activaciones musculares define la posición de equilibrio estable de la mano en el espacio. Por ejemplo, en una forma de este modelo, un conjunto de activaciones musculares define una posición de equilibrio estable de la mano en el espacio. El movimiento se consigue mediante una sucesión de dichas posiciones de equilibrio a lo largo de una trayectoria deseada14. Este modelo utiliza las propiedades de los músculos y de la médula espinal como controlador de retroalimentación para arrastrar la mano a lo largo de la trayectoria deseada. Debido a la dinámica del sistema, las posiciones reales no seguirán exactamente la trayectoria deseada a menos que la rigidez (la fuerza generada por unidad de desplazamiento desde el equilibrio) de los músculos y los bucles reflejos sea alta. Una propuesta alternativa consiste en construir un modelo inverso para representar el estado deseado en cada punto de la trayectoria en comandos motores15. Estos dos enfoques pueden contrastarse considerando el problema de mover una pelota alrededor de una trayectoria circular especificando las fuerzas que actúan sobre ella. Para el control de modelo inverso, las ecuaciones de movimiento son Movimiento AMovimiento B Distribuci ón de Fig. 2. Optimización de tareas en presencia de ruido dependiente de la señal posiciones (TOPS) modelo de Harris y Wolpert9. Trayectorias medias y distribuciones de posición final esperadas para dos secuencias motoras diferentes. Aunque las secuencias llevan la mano en promedio a la misma posición final, tienen diferentes distribuciones finales debido al ruido en los comandos motores. El movimiento A tiene menor dispersión que el B y, por tanto, menor coste que el B. En general, la tarea determina las estadísticas deseadas del movimiento, y se selecciona la trayectoria que optimiza las estadísticas. suplemento de neurociencia de la naturaleza - volumen 3 - 1213 noviembre de 2000  2000 Nature America Inc. - http://neurosci.nature.com revise Fig. 3. Esquema de un paso de un modelo de filtro de Kalman que estima recursivamente la posición del dedo durante un movimiento. El Estimación Estado Estimación estado actual se construye a partir de la estatal actual del estado estimación de estado anterior (arriba a la anterior previsto actual izquierda), que representa la distribución de posibles posiciones del dedo, mostrada como Predictor una nube de incertidumbre (azul). Una copia de + del comando motor, es decir, una copia de dinámica + la eferencia, y un modelo de la dinámica permiten predecir la distribución del estado actual a partir de este estado anterior. En general, la incertidumbre aumenta (nube interferencias Mando motor Corrección amarilla). A continuación, esta nueva estimación Predicto Copia de sensorial se refina utilizándola para predecir la r realimentación sensorial actual. El error entre sensorial esta predicción y la respuesta sensorial real se Predicción sensorial comentarios utiliza para corregir la estimación actual. La ganancia de Kalman convierte este error - + Gananc ia sensorial en errores de estado y también Respues Kalm determina la confianza relativa depositada en 2000 Nature America Inc. - http://neurosci.nature.com ta an la copia de eferencia y la retroalimentación sensorial sensorial. La estimación final del estado (arriba a la derecha) tiene ahora una incertidumbre reducida (nube azul). Señales sensoriales, flechas rojas; órdenes motoras, flechas amarillas; señales de estado, flechas azules. Aunque los retrasos en la retroalimentación sensorial deben Respues Orden del motor compensarse, se han omitido del diagrama ta sensorial para mayor claridad. proporciones en lugar de controlar individualmente cada músculo. Este control reduce la dimensionalidad efectiva de la salida motora. Los estudios de estimulación espinal en ranas sugieren que la médula espinal puede controlar el movimiento a través de primitivas que responden a campos de fuerza en el espacio extrínseco y pueden combinarse para proporcionar una "gramática" con la que construir movimientos y se aplican las fuerzas sobre la bola para generar la aceleración complejos17,18. Cada primitiva de campo de fuerza deseada. Para el control del punto de equilibrio, la pelota se puede considerarse como un valle de distinta forma. sujeta mediante un muelle a un punto de control, que Al igual que el agua fluye a lo largo de simplemente se mueve alrededor de la trayectoria circular, con la pelota siguiéndola por detrás. Para que la pelota se desplace a lo largo del círculo, la rigidez del muelle, que representa los músculos y los bucles reflejos, debe ser alta. Si la rigidez es baja, por ejemplo si se utiliza un slinky, la trayectoria del punto controlado y de la pelota sería muy diferente. En cambio, con un modelo inverso, el brazo puede controlarse con una rigidez baja. Actualmente existe un debate sobre la ganancia (medida por la rigidez de la extremidad durante el movimiento), y un estudio5 sugiere que la rigidez es baja. Con una rigidez baja, el control del punto de equilibrio requeriría una trayectoria de equilibrio compleja para lograr los movimientos simples observados, lo que lo convertiría en una solución computacional menos atractiva. La vía común final de la orden motora está formada por unas 200.000 motoneuronas alfa. Se plantea la cuestión de cuál es la codificación de esta salida motora y cómo se representan los objetivos de alto nivel en la orden motora. En la médula espinal, los experimentos apoyan la idea computacionalmente atractiva de que el control se consigue activando unas pocas primitivas motoras o funciones base16. La idea es simplificar el control combinando un pequeño número de primitivas, como patrones de activaciones musculares, en diferentes 1214 suplemento de neurociencia de la naturaleza - volumen 3 - noviembre de 2000  2000 Nature America Inc. - http://neurosci.nature.com hasta el punto más bajo del paisaje, el brazo se moverá en el campo de fuerzas hasta un punto de equilibrio. Sumando los valles, se pueden construir nuevos paisajes, es decir, comportamientos. A un nivel superior, en la corteza motora, ha habido un debate considerable sobre lo que se codifica dentro de las neuronas individuales y pop- ulaciones19-23. Las propuestas incluyen la dirección del movimiento, la velocidad, la aceleración, la postura y los pares articulares. Un modelo reciente24 propone que el córtex activa grupos musculares y que muchos de estos puntos de vista contradictorios pueden resolverse considerando la relación entre la actividad cortical, las propiedades de filtrado de los músculos y la cinemática del movimiento. Dada la cinemática de los movimientos observados, el modelo muestra que se esperaría que las neuronas corticales motoras codificaran todas las propiedades de movimiento mencionadas. Estado: estimación y predicción Para modelar cualquiera de las tres etapas del bucle sensoriomotor (Fig. 1), el SNC necesita conocer el estado actual, pero se enfrenta a dos problemas. En primer lugar, la transducción y el transporte de las señales sensoriales al SNC implican retrasos considerables. En segundo lugar, el SNC debe estimar el estado del sistema a partir de señales sensoriales que pueden estar contaminadas por ruido y que sólo proporcionan información parcial sobre el estado. Por ejemplo, pensemos en una pelota de tenis que acabamos de golpear. Si simplemente utilizáramos la localización retiniana de la pelota para estimar su posición, nuestra estimación se retrasaría unos 100 ms. Se puede hacer una estimación mejor prediciendo dónde se encuentra la pelota utilizando un modelo de avance. En segundo lugar, el giro de la pelota no puede observarse directamente, pero puede estimarse utilizando información sensorial integrada en el tiempo, es decir, la trayectoria vista de la pelota. Esta estimación puede mejorarse sabiendo cómo se golpeó la pelota, es decir, el comando motor, junto con un modelo interno de la dinámica de la pelota. Esta combinación, que utiliza la retroalimentación sensorial y los modelos prospectivos para estimar el estado actual, se conoce como "observador", y un ejemplo de ello es el filtro de Kalman25 (Fig. 3). Los principales objetivos del observador son compensar los retrasos sensoriomotores y reducir la incertidumbre en la estimación del estado que surge debido al ruido inherente tanto a la información sensorial como a la dinámica de la pelota. 1214 suplemento de neurociencia de la naturaleza - volumen 3 - noviembre de 2000  2000 Nature America Inc. - http://neurosci.nature.com revise Fig. 4. Esquema de la estimación del contexto con sólo dos contextos, que un cartón de leche esté vacío o Priore s lleno. Inicialmente se utiliza la información sensorial de la Priore Predictore Probabilida s Contexto Probabilidad s Contexto d del visión para establecer las probabilidades previas de los 1 (vacío) 1 (vacío) (pequeña Predicción de error de predicción) contexto dos contextos posibles y, en este caso, parece más 0.2 retroalimentación = 0.99 (posteriors) probable que el cartón esté lleno. Cuando se generan las 0.89 órdenes motoras apropiadas para un cartón lleno, se Regla Contexto utiliza una copia de eferencia de la orden motora para Contexto 2 2 de simular las consecuencias sensoriales en los dos (Complet (Complet o) Baye 0.11 0.8 contextos posibles. Las predicciones basadas en una o) Probabilidad s (gran error de caja vacía sugieren una gran cantidad de movimiento predicción) =0.03 en comparación con el contexto de caja llena. Estas Copia de Respuest predicciones se comparan con la respuesta real. eferenc a ia sensorial Como la caja está vacía, la información sensorial coincide con las predicciones del contexto de caja vacía. Esto conduce a una alta probabilidad de la caja vacía y una baja probabilidad de la caja llena. Las probabilidades se combinan con las predicciones previas mediante la ilk Retroalim Mando entación motor regla de Bayes para generar la probabilidad final sensorial (posterior) de cada contexto. Lec he predecible, o producido externamente. Se ha señales del motor. Para un sistema lineal, el filtro de propuesto que un fallo en este mecanismo subyace a Kalman es el observador óptimo, ya que estima el 2000 Nature America Inc. - http://neurosci.nature.com los delirios de control, en los que a los pacientes les estado con el menor error cuadrático. Este modelo parece que sus cuerpos están siendo movidos por ha sido respaldado por estudios empíricos sobre la fuerzas distintas a las suyas36. Curiosamente, los estimación de la posición de la mano3,26 , la postura27 daños en el córtex parietal izquierdo pueden y la orientación de la cabeza28. provocar una incapacidad relativa para determinar si Los daños en el córtex parietal pueden provocar una los movimientos observados son propios o no37. incapacidad para mantener dichas estimaciones de estado29. Utilizando el marco del observador, es un simple paso Contexto: estimación computacional desde la estimación del estado actual a la Cuando interactuamos con objetos con predicción de los estados futuros y la retroalimentación características físicas diferentes, el contexto de sensorial. Estas predicciones tienen muchas ventajas potenciales30. nuestro movimiento cambia de forma discreta. La predicción del estado, mediante la estimación del resultado de una acción antes de que esté disponible la retroalimentación sensorial, puede reducir el efecto de los retrasos de retroalimentación en los bucles sensoriomotores. Se cree que este sistema subyace a la manipulación hábil. Por ejemplo, cuando se acelera un objeto que se sostiene en la mano, los dedos aprietan su agarre para evitar que el objeto resbale, un proceso que se basa en la predicción (para una revisión, véase la ref. 31). La predicción de estados también puede utilizarse en la simulación mental de movimientos previstos. Los daños en el córtex parietal pueden provocar una incapacidad para simular mentalmente movimientos con la mano afectada32. La predicción sensorial puede derivarse de la predicción de estado y utilizarse para anular los efectos sensoriales del movimiento, es decir, la reafirmación. Utilizando un sistema de este tipo, es posible anular los efectos de los cambios sensoriales inducidos por el movimiento propio, aumentando así la información sensorial más relevante. Este mecanismo ha sido ampliamente estudiado en el pez eléctrico, donde se basa en una estructura similar al cerebelo (por ejemplo, ref. 33). En primates, estudios neurofisiológicos34 muestran una actualización predictiva en el córtex parietal, anticipando las consecuencias retinianas de un movimiento ocular. En el hombre, se cree que los mecanismos predictivos subyacen a la observación de que el mismo estímulo táctil, como las cosquillas, se siente con menor intensidad cuando se aplica uno mismo. La menor intensidad de la auto de los estímulos táctiles aplicados depende en gran medida de la alineación espaciotemporal precisa entre las consecuencias sensoriales previstas y reales del movimiento35. Del mismo modo, las predicciones sensoriales proporcionan un mecanismo para determinar si un movimiento es autoproducido, y por tanto suplemento de neurociencia de la naturaleza - volumen 3 - 1215 noviembre de 2000  2000 Nature America Inc. - http://neurosci.nature.com manera. Al igual que es esencial para el sistema motor estimar el estado, también debe estimar el contexto cambiante. Un formalismo poderoso es el enfoque bayesiano, que puede utilizarse para estimar la probabilidad de cada contexto. La probabilidad puede dividirse en dos términos: la probabilidad y la prioridad. La probabilidad de un contexto concreto es la probabilidad de la respuesta sensorial actual dado ese contexto. Para estimar esta probabilidad, se utiliza un modelo sensorial a priori de ese contexto para predecir la respuesta sensorial del movimiento. La discrepancia entre la respuesta sensorial prevista y la real está inversamente relacionada con la probabilidad: cuanto menor es el error de predicción, más probable es el contexto. Estos cálculos pueden llevarse a cabo mediante una arquitectura neuronal modular en la que múltiples modelos predictivos operan en paralelo. Cada uno se ajusta a un contexto y estima la probabilidad relativa de su contexto. Este conjunto de modelos actúa, por tanto, como un conjunto de comprobadores de hipótesis. El modelo a priori contiene información sobre la forma estructurada en que los contextos cambian con el tiempo y cómo de parecido es un contexto antes de un movimiento. La probabilidad y la prioridad pueden combinarse de forma óptima mediante la regla de Bayes, que toma el producto de estas dos probabilidades y lo normaliza sobre todos los contextos posibles para generar una probabilidad para cada contexto. La Figura 4 muestra un ejemplo en el que se recoge lo que parece ser un cartón de leche lleno, pero que en realidad está vacío. Los modelos predictivos corrigen en línea las previsiones erróneas que inicialmente ponderaban más la salida del controlador para un cartón lleno que para un carro vacío. La regla de Bayes permite una rápida corrección al control adecuado aunque la estrategia inicial fuera incorrecta. Este ejemplo tiene dos módulos que representan dos contextos. Sin embargo, la arquitectura modular puede, en principio, ampliarse a miles de módulos, es decir, contextos. Aunque se han propuesto arquitecturas separadas para la estimación del estado y del contexto (Figs. 3 y 4), ambas pueden considerarse formas en línea de realizar la inferencia bayesiana en un entorno incierto. Esta interpretación de los procesos necesarios para la estimación del contexto es coherente con estudios neurofisiológicos recientes en primates, que muestran que el SNC modela la respuesta sensorial esperada para un contexto concreto39 y representa la probabilidad de la respuesta sensorial dado el contexto40. En un elegante ejemplo de estimación del contexto6 , cuando los sujetos realizan un movimiento de alcance mientras rotan el torso, compensan las fuerzas de Coriolis dependientes de la velocidad que surgen de la rotación del torso. suplemento de neurociencia de la naturaleza - volumen 3 - 1215 noviembre de 2000  2000 Nature America Inc. - http://neurosci.nature.com revise Estado Estado suele ser una tarea difícil. Esto se debe a que la señal de deseado estimado entrenamiento adecuada, el error de la orden motora, no está disponible directamente. Cuando fallamos un googly, nadie nos dice cómo deben cambiar nuestras activaciones musculares para lograr esta hazaña en el cricket. En su lugar, recibimos señales de error en coordenadas sensoriales, y estos errores sensoriales + - deben convertirse en errores motores antes de que puedan utilizarse para entrenar un modelo inverso. El modelo de Error aprendizaje feed-back-error15,41 proporciona una solución de ingeniosa a este problema (Fig. 5). Un controlador de Error Esta Modelo de Controlado retroalimentación cableado, pero no perfecto, calcula un inverso moto dor de comando de motor basado en la discrepancia entre los estados r realiment deseados y estimados. El comando del motor es la suma del Mando ación Comando comando del motor del controlador de retroalimentación y la motor del motor salida de un modelo inverso adaptativo. La razón detrás de este feedforward de modelo es que si el controlador de retroalimentación no produce + + realiment ningún comando del motor, entonces no debe haber ación discrepancia entre el estado deseado y el estimado, es decir, no hay error en el rendimiento, y el modelo inverso está 2000 Nature America Inc. - http://neurosci.nature.com funcionando perfectamente. Por lo tanto, la salida del controlador de retroalimentación puede considerarse como la señal de error y utilizarse para entrenar el modelo inverso, un enfoque que tiene mucho éxito. La evidencia neurofisiológica42 Orden apoya este mecanismo de aprendizaje dentro del cerebelo para Respues del motor el simple movimiento reflejo del ojo llamado respuesta de ta sensorial seguimiento ocular, sugiriendo que el cerebelo construye un modelo inverso de la dinámica del ojo. Los últimos trabajos sobre aprendizaje dinámico se han centrado en la repre sentación del modelo inverso. Si los sujetos realizan movimientos de punto a punto en un campo de fuerzas generado Fig. 5. Esquema del aprendizaje por retroalimentación-error. El por un robot sujeto a su mano2 o por una sala giratoria43, con el objetivo es aprender un modelo inverso que pueda generar tiempo se adaptan y son capaces de moverse con naturalidad en comandos de motor dada una serie de estados deseados. Se utiliza presencia del campo. Con este protocolo se han abordado varias un controlador de retroalimentación de baja ganancia para corregir los cuestiones teóricas. El aprendizaje de la dinámica se generaliza errores entre los estados deseados y estimados. Esto genera un en coordenadas basadas en articulaciones2, el aprendizaje depende comando de motor de retroalimentación que se añade al comando de los estados experimentados pero no de su orden temporal44, de motor feedforward generado por el modelo inverso. Si el comando del motor de retroalimentación llega a cero, entonces el los campos dependientes del estado se aprenden de forma más error de estado, en general, también será cero. Por lo tanto, el eficiente que los campos que cambian temporalmente45, y tanto los comando del motor de retroalimentación es una medida del error modelos directos como los inversos se adaptan simultáneamente del modelo inverso y se utiliza como señal de error para entrenarlo. durante el aprendizaje46. La atención ha empezado a desplazarse del examen del aprendizaje de un único contexto a la consideración de cómo somos capaces de aprender una variedad de contextos. Una arquitectura que puede aprender a actuar en múltiples con- los textos son la selección modular y la identificación para el control (MOSAIC), que contiene múltiples predictores. rotación y actúan sobre el brazo. Cuando los sujetos entorno proporciona fácilmente una señal de experimentan una autorrotación ilusoria inducida por una gran entrenamiento apropiada para aprender a predecir la imagen visual en movimiento, realizan movimientos como si respuesta sensorial. La diferencia entre la respuesta esperaran, basándose en los antecedentes visuales, el contexto sensorial prevista y la real puede utilizarse como señal de la fuerza de Coriolis. Esto conduce a una aproximación de error para actualizar un modelo predictivo. Los errónea, que se reduce en los movimientos posteriores al no mecanismos neuronales que conducen a este experimentar las consecuencias sensoriales de la fuerza de aprendizaje predictivo en la estructura similar al Coriolis esperada. cerebelo de los peces eléctricos se conocen parcialmente33. Modelos internos: aprendizaje Adquisición de un modelo interno inverso Los modelos internos, tanto directos como inversos, captan mediante aprendizaje motor información sobre las propiedades del sistema sensoriomotor. Estas propiedades no son estáticas, sino que cambian a lo largo de la vida, tanto a corto plazo, debido a las interacciones con el entorno, como a largo plazo, debido al crecimiento. Por lo tanto, los modelos internos deben adaptarse a los cambios en las propiedades del sistema sensoriomotor. El 1216 suplemento de neurociencia de la naturaleza - volumen 3 - noviembre de 2000  2000 Nature America Inc. - http://neurosci.nature.com pares de controladores38. Como se ha descrito anteriormente, los predictores proporcionan la probabilidad de cada contexto, y estas probabilidades se utilizan para ponderar las salidas de un conjunto de controladores correspondientes sintonizados para cada contexto. Este sistema puede aprender simultáneamente los múltiples predictores y controladores necesarios y cómo seleccionar el controlador apropiado para un contexto determinado. Nuestra comprensión de los mecanismos del aprendizaje motor ha aumentado al examinar cómo el aprendizaje de un contexto puede interferir con el aprendizaje de otros. Cuando los sujetos intentan aprender dos dinámicas47,48 o reordenamientos visuomotores diferentes49, la interferencia se produce cuando se presentan en rápida sucesión, pero no cuando están separados por varias horas. Esto sugiere que el aprendizaje motor pasa por un periodo de consolidación, durante el cual la memoria motora es frágil a la interrupción. Curiosamente, las perturbaciones visuomotoras y dinámicas no interfieren y pueden aprenderse juntas tan rápido como por separado49. Muchas de las situaciones a las que nos enfrentamos se derivan de combinaciones de contextos previamente experimentados, como nuevas combinaciones de objetos manipulados y entornos. Modulando la contribución de las salidas de los controladores individuales a la orden motora final, se puede crear un enorme repertorio de comandos. 1216 suplemento de neurociencia de la naturaleza - volumen 3 - noviembre de 2000  2000 Nature America Inc. - http://neurosci.nature.com revise 16. Giszter, S. F., Mussa-Ivaldi, F. A. & Bizzi, E. Campos de fuerza comportamientos. Por lo tanto, los modos internos múltiples convergentes organizados pueden considerarse conceptualmente como primitivas motoras, los bloques de construcción utilizados para construir intrincadas conductas motoras con un enorme vocabulario. Tras aprender dos contextos diferentes, el SNC puede mezclar adecuadamente las salidas tanto dentro del dominio visuomotor4 como entre los dominios visuomotor y dinámico50. Principios unificadores Los enfoques computacionales han empezado a proporcionar principios unificadores para el control motor. Ya han surgido varios temas comunes. En primer lugar, los modelos internos son fundamentales para comprender una serie de procesos como la estimación del estado, la predicción, la estimación del contexto, el control y el aprendizaje. En segundo lugar, la optimalidad subyace a muchas teorías de planificación, control y estimación del movimiento y puede explicar una amplia gama de hallazgos experimentales. En tercer lugar, el sistema motor tiene que hacer frente a la incertidumbre sobre el mundo 2000 Nature America Inc. - http://neurosci.nature.com y el ruido en sus entradas sensoriales y órdenes motoras, y el enfoque bayesiano proporciona un marco poderoso para la estimación óptima frente a tal incertidumbre. Creemos que estos y otros principios unificadores servirán de base para el control de sistemas motores tan diversos como el ojo, el brazo, el habla, la postura, el equilibrio y la locomoción. AGRADECIMIENTOS Agradecemos a Pierre Baraduc, Robert van Beers, James Ingram, Kelvin Jones y Philipp Vetter sus comentarios sobre el manuscrito. Este trabajo ha sido financiado con subvenciones del Wellcome Trust, la Gatsby Charitable Foundation y la Human Frontiers Science Organization. RECIBIDO EL 16 DE JUNIO; ACEPTADO EL 29 DE SEPTIEMBRE DE 2000 1. Bellman, R. Dynamic Programming (Princeton Univ. Press, Princeton, Nueva Jersey, 1957). 2. Shadmehr, R. & Mussa-Ivaldi, F. Representación adaptativa de la dinámica durante el aprendizaje de una tarea motora. J. Neurosci. 14, 3208-3224 (1994). 3. Wolpert, D. M., Ghahramani, Z. & Jordan, M. I. Un modelo interno para la integración sensoriomotora. Science 269, 1880-1882 (1995). 4. Ghahramani, Z. & Wolpert, D. M. Modular decomposition in visuomotor learning. Nature 386, 392-395 (1997). 5. Gomi, H. & Kawato, M. Equilibrium-point control hypothesis examined by measured arm stiffness during multijoint movement. Science 272, 117- 120 (1996). 6. Cohn, J. V., DiZio, P. & Lackner, J. R. Reaching during virtual rotation: context specific compensations for expected coriolis forces. J. Neurophysiol. 83, 3230-3240 (2000). 7. Flash, T. & Hogan, N. La coordinación de los movimientos del brazo: Un modelo matemático confirmado experimentalmente. J. Neurosci. 5, 1688-1703 (1985). 8. Uno, Y., Kawato, M. & Suzuki, R. Formación y control de trayectorias óptimas en movimientos multiarticulares del brazo humano: Minimum torque- change m o d e l. Biol. Cybern. 61, 89-101 (1989). 9. Harris, C. M. & Wolpert, D. M. El ruido dependiente de la señal determina la planificación motora. Nature 394, 780-784 (1998). 10. Kitazawa, S., Kimura, T. & Yin, P. Cerebellar complex spikes encode both destinations and errors in arm movements. Nature 392, 494-497 (1998). 11. Feldman, A. G. Sintonización funcional del sistema nervioso con el control del movimiento o el mantenimiento de una postura estable. III. Análisis mecanográfico de la ejecución por el brazo de las tareas motoras más simples. Biophysics 11, 766-775 (1966). 12. Bizzi, E., Accornerro, N., Chapple, B. & Hogan, N. Control postural y formación de trayectorias durante el movimiento del brazo. J. Neurosci. 4, 2738-2744 (1984). 13. Hogan, N. Un principio organizador para una clase de movimientos voluntarios. J. Neurosci. 4, 2745-2754 (1984). 14. Flash, T. The control of hand equilibrium trajectories in multi-joint arm movements. Biol. Cybern. 57, 257-274 (1987). 15. Kawato, M., Furawaka, K. & Suzuki, R. A hierarchical neural network model for the control and learning of voluntary movements. Biol. Cybern. 56, 1-17 (1987). suplemento de neurociencia de la naturaleza - volumen 3 - 1217 noviembre de 2000  2000 Nature America Inc. - http://neurosci.nature.com en la médula espinal de la rana. J. Neurosci. 13, 467-491 (1993). 17. Tresch, M. C., Saltiel, P. & Bizzi, E. La construcción del movimiento por la médula espinal. Nat. Neurosci. 2, 162-167 (1999). 18. Mussa-Ivaldi, F. A. Características modulares del control motor y el aprendizaje. Curr. Opin. Neurobiol. 9, 713-717 (1999). 19. Mussa-Ivaldi, F. A. ¿Las neuronas del córtex motor codifican la dirección del movimiento? An alternative hypothesis. Neurosci. Lett. 91, 106-111 (1988). 20. Sanger, T. Consideraciones teóricas para el análisis de la codificación de poblaciones en la corteza motora. Neural Comput. 6, 29-37 (1994). 21. Georgopoulos, A. P. Cuestiones actuales en el control motor direccional. Trends Neurosci. 18, 506-510 (1995). 22. Scott, S. & Kalaska, J. F. Motor cortical activity is altered by changes in arm posture for identical hand trajectories. J. Neurophysiol. 73, 2563-2567 (1995). 23. Kakei, S., Hoffman, D. S. & Strick, P. L. Muscle and movement representations in the primary motor cortex. Science 285, 2136-2139 (1999). 24. Todorov, E. Control cortical directo de la activación muscular en los movimientos voluntarios del brazo: un modelo. Nat. Neurosci. 3, 391-398 (2000). 25. Goodwin, G. C. & Sin, K. S. Predicción y control de filtrado adaptativo (Prentice-Hall, Englewood Cliffs, Nueva Jersey, 1984). 26. van Beers, R. J., Sittig, A. C. & van der Gon, J. J. D. Integración de información de posición propioceptiva y visual: Un modelo apoyado experimentalmente. J. Neurophysiol. 81, 1355- 1364 (1999). 27. Kuo, A. D. Un modelo de control óptimo para analizar el equilibrio postural humano. IEEE Trans. Biomed. Eng. 42, 87-101 (1995). 28. Merfeld, D. M., Zupan, L. & Peterka, R. J. Los humanos utilizan un modelo interno para estimar la gravedad y la aceleración lineal. Nature 398, 615-618 (1999). 29. Wolpert, D. M., Goodbody, S. J. & Husain, M. Mantenimiento de las representaciones internas: el papel del lóbulo parietal superior. Nat. Neurosci. 1, 529-533 (1998). 30. Miall, R. C. & Wolpert, D. M. Forward models for physiological motor control. Neural Networks 9, 1265-1279 (1996). 31. Johansson, R. S. & Cole, K. J. Coordinación sensoriomotora durante las acciones de prensión y manipulación. Curr. Opin. Neurobiol. 2, 815-823 (1992). 32. Sirigu, A. et al. The mental representation of hand movements after parietal cortex damage. Science 273, 1564-1568 (1996). 33. Bell, C. C., Han, V. Z., Sugawara, Y. & Grant, K. La plasticidad sináptica en una estructura similar al cerebelo depende del orden temporal. Nature 387, 278-281 (1997). 34. Duhamel, J. R., Colby, C. L. & Goldberg, M. E. The updating of the representation of visual space in parietal cortex by intended eye movements. Science 255, 90-92 (1992). 35. Blakemore, S. J., Frith, C. D. & Wolpert, D. M. Perceptual modulation of self-produced stimuli: The role of spatio-temporal prediction. J. Cogn. Neurosci. 11, 551-559 (1999). 36. Frith, C. D. The Cognitive Neuropsychology of Schizophrenia (Lawrenece Erlbaum, Hove, Reino Unido, 1992). 37. Sirigu, A., Daprati, E., Pradatdiehl, P., Franck, N. & Jeannerod, M. Perception of self- generated movement following left parietal lesion. Brain 122, 1867-1874 (1999). 38. Wolpert, D. M. & Kawato, M. Multiple paired forward and inverse models for motor control. Neural Networks 11, 1317-1329 (1998). 39. Eskandar, E. N. & Assad, J. A. Disociación de señales visuales, motoras y predictivas en el córtex parietal durante la orientación visual. Nat. Neurosci. 2, 88-93 (1999). 40. Kim, J. & Shadlen, M. N. Correlatos neuronales de una decisión en el córtex prefrontal dorsolateral del macaco. Nat. Neurosci. 2, 176-185 (1999). 41. Kawato, M. & Gomi, H. El cerebelo y los modelos de aprendizaje VOR/OKR. Trends Neurosci. 15, 445-453 (1992). 42. Shidara, M., Kawano, K., Gomi, H. & Kawato, M. Codificación de la dinámica inversa del movimiento ocular por las células de Purkinje en el cerebelo. Nature 365, 50-52 (1993). 43. Lackner, J. R. & DiZio, P. Rapid adaptation to Coriolis force perturbations of arm trajectory. J. Neurophysiol. 72, 299-313 (1994). 44. Conditt, M. A., Gandolfo, F. & Mussa-Ivaldi, F. A. El sistema motor no aprende la dinámica del brazo memorizando experiencias pasadas. J. Neurophysiol. 78, 554-560 (1997). 45. Conditt, M. A. & Mussa-Ivaldi, F. A. Representación central del tiempo durante el aprendizaje motor. Proc. Natl. Acad. Sci. USA 96, 11625-11630 (1999). 46. Bhushan, N. & Shadmehr, R. Computational nature of human adaptive control during learning of reaching movements in force fields. Biol. Cybern. 81, 39-60 (1999). 47. Brashers-Krug, T., Shadmehr, R. & Bizzi, E. Consolidation in human motor memory. Nature 382, 252-255 (1996). 48. Gandolfo, F., Mussa-Ivaldi, F. A. & Bizzi, E. Aprendizaje motor por aproximación de campos. Proc. Natl. Acad. Sci. USA 93, 3843-3846 (1996). 49. Krakauer, J. W., Ghilardi, M. F. & Ghez, C. Aprendizaje independiente de modelos internos para el control cinemático y dinámico del alcance. Nat. Neurosci. 2, 1026-1031 (1999). 50. Flanagan, J. R. et al. Composición y descomposición de modelos internos en el aprendizaje motor bajo entornos cinemáticos y dinámicos alterados. J. Neurosci. 19, B1- B5 (1999). suplemento de neurociencia de la naturaleza - volumen 3 - 1217 noviembre de 2000