Directrices Éticas Sobre El Uso De La Inteligencia Artificial (IA) En La Educación PDF

DIRECTRICES ÉTICAS SOBRE EL USO DE LA INTELIGENCIA ARTIFICIAL (IA) Y LOS DATOS EN LA EDUCACIÓN Y FORMACIÓN PARA LOS EDUCADORES Ni la Comisión Europea ni nadie que actúe en su nombre se responsabilizarán del uso que pudiera hacerse de esta información. Luxemburgo: Oficina de Publicaciones de...

DIRECTRICES ÉTICAS SOBRE EL USO DE LA INTELIGENCIA ARTIFICIAL (IA) Y LOS DATOS EN LA EDUCACIÓN Y FORMACIÓN PARA LOS EDUCADORES Ni la Comisión Europea ni nadie que actúe en su nombre se responsabilizarán del uso que pudiera hacerse de esta información. Luxemburgo: Oficina de Publicaciones de la Unión Europea, 2022 © Unión Europea, 2022 La política de reutilización de los documentos de la Comisión Europea se rige por la Decisión 2011/833/ UE de la Comisión, de 12 de diciembre de 2011, relativa a la reutilización de los documentos de la Comisión (DO L 330 de 14.12.2011, p. 39). Salvo que se indique otra cosa, la reutilización del presente documento está autorizada en virtud de una licencia Creative Commons Attribution 4.0 International (CC BY 4.0) (https://creativecommons.org/ licenses/by/4.0/). Esto significa que se permite la reutilización siempre que la fuente esté adecuadamente identificada y se indique cualquier cambio. Para cualquier uso o reproducción de elementos que no sean propiedad de la Unión Europea, podrá ser necesario solicitar la autorización directamente de los respectivos titulares de derechos. Print ISBN 978-92-76-57550-4 doi:10.2766/795588 NC-07-22-649-ES-C PDF ISBN 978-92-76-54198-1 doi:10.2766/898 NC-07-22-649-ES-N Agradecimientos Las orientaciones han sido elaboradas por la Comisión Europea con la ayuda del Grupo de Expertos sobre la Inteligencia Artificial y los Datos en la Educación y la Formación, dirigido por consultores asociados a ECORYS. La Comisión desea dar las gracias a: Agata Majchrowska Aleksander Tarkowski Ari Alamäki Deirdre Butler Duuk Baten Egon Van den Broek Guido Noto La Diega Hanni Muukkonen van der Meer Inge Molenaar Jill-Jênn Vie Josiah Kaplan Juan Pablo Giraldo Ospino Julián Estévez Keith Quille Lidija Kralj Lucilla Crosta Maksim Karliuk Maria Wirzberger Matthew Montebello Stephan Vincent-Lancrin Tapani Saarinen Tobias Rohl Viola Schiaffonati Vitor Hugo Mendes da Costa Carvalho Vladislav Slavov 4 D I R EC T R I C E S É T I C A S S O B R E E L U S O D E L A I N T E L I G E N C I A A R T I F I C I A L (I A )  Y L O S D AT O S E N L A E D U C AC I Ó N Y F O R M AC I Ó N PA R A L O S E D U C A D O R E S 5 Índice Introducción6 Contexto de las presentes directrices 8 Plan de Acción de Educación Digital 8 Inteligencia artificial y uso de datos 10 Propuesta sobre la política y el marco regulador de la UE en materia de inteligencia artificial  12 Conceptos erróneos comunes sobre la IA 12 Ejemplos del uso de la IA y los datos en la educación 14 Consideraciones y requisitos éticos que acompañan a las directrices éticas 18 Consideraciones éticas 18 Requisitos clave para una IA fiable 18 Preguntas orientativas para los agentes educativos  19 Orientaciones para agentes educativos y directores de centros de enseñanza 22 Utilización de las preguntas orientativas 22 Planificación para un uso eficaz de la IA y los datos en la escuela 26 Sensibilización y compromiso de la comunidad educativa 27 Competencias emergentes para el uso ético de la IA y los datos 28 Glosario de términos relacionados con la IA y los datos 32 Información complementaria 38  6 D I R EC T R I C E S É T I C A S S O B R E E L U S O D E L A I N T E L I G E N C I A A R T I F I C I A L (I A ) Introducción Desde la forma en que nos mantenemos informados hasta la manera en que tomamos decisiones, la inteligencia artificial (IA) se está convirtiendo en un elemento ubicuo de nuestra economía y nuestra sociedad. Naturalmente, también ha llegado a nuestras escuelas. El uso de la IA en la educación ha dejado de enmarcarse en un futuro lejano. Ya está cambiando el modo en que trabajan las escuelas, las universidades y los agentes educativos, y también cómo aprenden nuestros hijos. Está haciendo que los entornos educativos sean más receptivos, ya que está ayudando al profesorado a abordar las necesidades específicas de cada alumno. Se está convirtiendo rápidamente en un aspecto fundamental de la tutoría personalizada y la evaluación, y está mostrando cada vez más su potencial para ofrecer valiosas ideas sobre el desarrollo de los estudiantes. El impacto de la IA en nuestros sistemas de educación y formación es innegable y seguirá creciendo en el futuro. Los estudiantes y agentes El Grupo de expertos ofreció amplios conocimientos y experiencia educativos ya se benefician sobre la base de las Directrices éticas para una IA fiable y la Lista de de la IA en su vida cotidiana, evaluación para una IA fiable (ALTAI), ámbitos que ya han ocupado un m u c h a s ve c e s si n s er lugar destacado en la agenda política de la UE. Centrándose tanto en conscientes de su presencia. la ética de la educación como en la ética de la IA y los datos, el Grupo Los entornos de aprendizaje también tuvo en cuenta el marco jurídico propuesto para la IA (Ley de en línea suelen abarcar Inteligencia Artificial), el Reglamento general de protección de datos varios continentes, a menudo (RGPD) y las propuestas de Ley de Datos y de una Declaración de la sin que los usuarios sean UE sobre los Derechos y Principios Digitales. plenamente conscientes de Estas directrices se utilizarán en centros educativos de toda Europa cómo y dónde se utilizan sus y las promoveremos activamente a través del programa Erasmus+. datos. Esto plantea desafíos De forma colectiva o individual, los profesores y los directores de los éticos específicos en cuanto al uso de la IA y el procesamiento de centros educativos dispondrán ahora de una base sólida para lanzarse grandes cantidades de datos en la educación. Huelga decir que a ampliar el uso de estas tecnologías de manera razonable, segura debemos garantizar que los profesores y agentes educativos y ética. comprendan el potencial de la IA y los macrodatos en la educación, sin dejar de ser conscientes de los riesgos asociados. Estas directrices, junto con su uso sobre el terreno, son fundamentales para los esfuerzos que estamos realizando a fin de alcanzar el Espacio Por este motivo, me complace compartir con ustedes las presentes Europeo de Educación, al tiempo que apoyan la labor que están directrices éticas para agentes educativos sobre el uso de la IA y llevando a cabo los Estados miembros de la UE. Las directrices forman los datos en la enseñanza y el aprendizaje. Sin duda, las directrices parte de un camino más largo, mientras que la UE está negociando y ayudarán a nuestros profesores y agentes educativos a reflexionar preparando un marco regulador global y eficaz para una IA fiable, que sobre cómo pueden utilizar la IA y los datos en sus prácticas se implementará en todos los sectores de la UE, incluida la educación. cotidianas, y les capacitarán para actuar en consecuencia. Y nuestro trabajo no se detiene aquí. A medida que avancemos, Agradezco al Grupo de expertos creado por la Comisión Europea por su aumentará nuestra comprensión de cómo aplicar estas tecnologías, valiosa contribución a la preparación de las presentes directrices. Este permitiendo que los agentes educativos sean aún más inclusivos y Grupo reunió a una amplia gama de expertos: desde profesionales a pragmáticos, especialmente en la educación primaria y secundaria. investigadores en el ámbito de la IA, los datos, la ética y la educación, así como representantes de diversas organizaciones internacionales, como UNICEF, la UNESCO y la OCDE.  Y L O S D AT O S E N L A E D U C AC I Ó N Y F O R M AC I Ó N PA R A L O S E D U C A D O R E S 7 Por lo tanto, invito a todos los profesores y agentes educativos Mi más sincero agradecimiento a los expertos de este Grupo, que europeos a aprovechar estas directrices y a compartir sus opiniones hicieron de estas directrices una realidad. Sus ideas y su dedicación sobre su aplicación práctica y su experiencia, ya que esto apoyará se manifiestan en las páginas siguientes. Gracias. los esfuerzos que estamos realizando en relación con la transición digital en la educación. También nos beneficiaremos enormemente de las opiniones y la experiencia de nuestros alumnos y sus familias, así como todas las partes interesadas en el ámbito de la educación, sobre el uso y el impacto de la IA en su trabajo diario y sobre cómo hacerlo más provechoso, evitando al mismo tiempo los riesgos y efectos negativos para los derechos humanos y nuestros valores fundamentales de la UE. Mariya Gabriel Nuestro trabajo conjunto sobre la IA y los datos en la educación muestra un compromiso compartido con la comunidad educativa, con nuestros alumnos, su desarrollo y su bienestar. Las presentes directrices constituyen un punto de partida importante. Ahora corresponde a todos nosotros promoverlas y ponerlas en práctica. Cuento con ustedes para ello.  8 D I R EC T R I C E S É T I C A S S O B R E E L U S O D E L A I N T E L I G E N C I A A R T I F I C I A L (I A ) Contexto de las presentes directrices Plan de Acción de Educación Digital El Plan de Acción de Educación Digital (2021-2027) es la iniciativa política renovada de la Unión Europea (UE) para apoyar una adaptación sostenible y eficaz de los sistemas de educación y formación de los Estados miembros de la UE a la era digital. El Plan de Acción de Educación Digital: ofrece una visión estratégica a largo plazo para una educación pretende lograr una mayor cooperación a escala de la UE en materia digital europea de alta calidad, inclusiva y accesible; de educación digital y subraya la importancia del trabajo conjunto en todos los sectores para llevar la educación a la era digital; aborda los retos y oportunidades de la pandemia de COVID-19, que ha dado lugar a un uso sin precedentes de la tecnología para presenta oportunidades, entre las que se incluyen mejorar la educación y la formación; la calidad y la cantidad de la enseñanza relacionada con las tecnologías digitales, apoyar la digitalización de los métodos de enseñanza y las pedagogías, y proporcionar las infraestructuras necesarias para un aprendizaje a distancia inclusivo y resiliente.  Y L O S D AT O S E N L A E D U C AC I Ó N Y F O R M AC I Ó N PA R A L O S E D U C A D O R E S 9 El Plan de Educación Digital presenta dos prioridades estratégicas, cada una de las cuales contiene una serie de acciones para el período 2021-2027: El Plan de Acción de Educación Digital (2021-2027) tiene dos prioridades estratégicas: Para fomentar un ecosistema educativo digital Para desarrollar cibercapacidades y competencias 1 de alto rendimiento necesitamos: 2 digitales pertinentes para la era digital: Infraestructura, conectividad y equipos digitales. Apoyar la dotación de cibercapacidades y competencias digitales desde una edad temprana: Una planificación y un desarrollo eficaces de las Alfabetización digital, incluida la gestión del exceso de capacidades digitales, en particular capacidades organizativas información y el reconocimiento de la desinformación. eficaces y actualizadas. Educación informática. Agentes educativos y personal de educación y formación Un buen conocimiento y entendimiento de las tecnologías con con cibercapacidades y confianza digital. uso intensivo de datos, como la inteligencia artificial. Impulsar las cibercapacidades avanzadas: aumentar el Contenidos de alta calidad, herramientas fáciles de número de especialistas digitales y de niñas y mujeres en estudios utilizar y plataformas seguras que respeten la privacidad y y carreras digitales. los estándares éticos. En el marco de la Prioridad 1: fomentar el desarrollo de un ecosistema educativo digital de alto rendimiento, el Plan de Acción de Educación Digital esboza una serie de acciones para fomentar el desarrollo de un ecosistema educativo digital de alto rendimiento que incluyen una acción específica para elaborar directrices éticas sobre el uso de la IA y los datos en la educación y la formación, que se compartirán con educadores y directores de centros de enseñanza.  10 D I R EC T R I C E S É T I C A S S O B R E E L U S O D E L A I N T E L I G E N C I A A R T I F I C I A L (I A ) Inteligencia artificial y uso de datos ¿Qué es la inteligencia artificial? En toda Europa, los aprendientes y los agentes educativos utilizan Las técnicas y estrategias de IA enumeradas son: cada vez más sistemas de inteligencia artificial (IA), a veces sin a) e strategias de aprendizaje automático, incluidos el aprendizaje percatarse de ello. Los motores de búsqueda, los asistentes supervisado, el no supervisado y el realizado por refuerzo, inteligentes, los robots conversacionales, la traducción de lenguas, las que emplean una amplia variedad de métodos, entre ellos el aplicaciones de navegación, los videojuegos en línea y muchas otras aprendizaje profundo; aplicaciones utilizan la inteligencia artificial en nuestra vida cotidiana. Los sistemas de IA se basan en datos que se recogen en distintas b) e strategias basadas en la lógica y el conocimiento, modalidades (por ejemplo, sonido, imágenes, texto, publicaciones, especialmente la representación del conocimiento, la clics) que conforman nuestros rastros digitales. programación (lógica) inductiva, las bases de conocimiento, los motores de inferencia y deducción, los sistemas expertos y de La IA tiene un gran potencial para transformar la educación y la razonamiento (simbólico); formación para los aprendientes, los agentes educativos y los directores de centros de enseñanza. Los sistemas de IA están c) e strategias estadísticas, estimación bayesiana, métodos de ayudando actualmente a algunos agentes educativos a determinar búsqueda y optimización. necesidades de aprendizaje específicas, proporcionando a los aprendientes experiencias personalizadas y ayudando a algunos centros educativos a tomar mejores decisiones, de modo que puedan utilizar más eficazmente los recursos docentes de los que disponen. Conforme estos sistemas evolucionan y aumenta el uso de los Cuando hablamos de sistemas de IA, nos datos, resulta muy importante comprender mejor su impacto en el referimos a los programas informáticos mundo que nos rodea, especialmente en el campo de la educación y la formación. Los agentes educativos y directores de centros de de ordenadores o máquinas que están enseñanza deben contar al menos con un conocimiento básico de la programados para llevar a cabo tareas que IA y el uso de datos para poder interactuar de manera positiva, crítica y ética con esta tecnología y utilizarla adecuadamente para explotar normalmente requieren inteligencia humana, al máximo todo el potencial que ofrece. por ejemplo, aprendizaje o razonamiento. La definición de sistema de inteligencia artificial (sistema de IA) Mediante el uso de datos, se puede «entrenar» propuesta en el proyecto de Ley de Inteligencia Artificial es «el software que se desarrolla empleando una o varias de las técnicas a determinados sistemas de IA para realizar y estrategias (que figuran a continuación) y que puede, para un predicciones, formular recomendaciones o tomar conjunto determinado de objetivos definidos por seres humanos, decisiones, a veces sin intervención humana. generar información de salida como contenidos, predicciones, recomendaciones o decisiones que influyan en los entornos con los que interactúa».  Y L O S D AT O S E N L A E D U C AC I Ó N Y F O R M AC I Ó N PA R A L O S E D U C A D O R E S 11 ¿A qué nos referimos cuando hablamos de ¿Por qué necesitamos estas directrices? la IA y el uso de datos en la educación? El uso de sistemas de IA puede mejorar la enseñanza, el aprendizaje y la evaluación, ofrecer mejores resultados del aprendizaje y ayudar Las escuelas suelen procesar cantidades considerables de datos a los centros educativos a funcionar de manera más eficiente. Sin educativos, en particular información personal sobre los estudiantes, embargo, si esas mismas aplicaciones de IA se utilizan de forma los progenitores, el personal, la dirección y los proveedores. Los negligente o no se diseñan de manera adecuada, ello podría dar datos recogidos, utilizados y tratados en la educación se denominan lugar a consecuencias perjudiciales. Los agentes educativos deben a menudo «datos educativos». Se trata de los datos registrados ser conscientes y preguntarse si los sistemas de IA que utilizan son en los sistemas de información sobre estudiantes, por ejemplo, el fiables, justos, seguros y dignos de confianza, y si la gestión de los rendimiento escolar, los nombres de los progenitores, las calificaciones, datos educativos es segura, protege la privacidad de las personas y así como los datos a nivel micro generados cuando se utilizan se utiliza para el bien común. La «IA ética» se utiliza para indicar un herramientas digitales. Cuando los estudiantes interactúan con desarrollo, despliegue y uso de la IA que garantice el cumplimiento de dispositivos digitales, generan rastros digitales, como clics de ratón, las normas y principios éticos y los valores fundamentales conexos. datos sobre páginas abiertas, el momento de las interacciones o las pulsaciones de teclas. Del mismo modo, cuando se utilizan sistemas de tutoría inteligentes en las aulas, el aprendizaje de matemáticas o lenguas modernas, se generan rastros de las actividades de aprendizaje. Todos estos datos pueden combinarse para reflejar el comportamiento en línea de cada estudiante. Este tipo de datos de Estas directrices éticas sobre el uso de la IA rastreo (rastros del uso digital y de las actividades de aprendizaje) se utiliza a menudo para el análisis del aprendizaje (learning analytics). y los datos en la educación y la formación Los datos de los sistemas de información sobre estudiantes pueden están diseñadas para ayudar a los agentes utilizarse en mayor medida para la planificación de recursos y cursos, así como para predecir el abandono y ofrecer orientación. educativos a comprender el potencial que pueden tener las aplicaciones de IA y el uso de datos en la educación y para concienciar sobre los posibles riesgos. De ese modo Dada la gran cantidad de datos necesarios podrán interactuar de forma positiva, crítica para entrenar a los sistemas de IA, el y ética con los sistemas de IA y aprovechar carácter automatizado de los algoritmos y la todo su potencial. escalabilidad de sus aplicaciones, el uso de la IA plantea cuestiones importantes en relación con los datos personales, la protección de datos y la privacidad. Las escuelas están obligadas a garantizar que todos los datos que tratan se almacenan de forma confidencial y segura y deben contar con políticas y procedimientos adecuados para la protección y el uso ético de todos los datos personales, de conformidad con el Reglamento General de Protección de Datos (RGPD).  12 D I R EC T R I C E S É T I C A S S O B R E E L U S O D E L A I N T E L I G E N C I A A R T I F I C I A L (I A ) Propuesta sobre la política y el marco regulador de la UE en materia de inteligencia artificial Como parte de su agenda digital, sobre la base de las «Directrices éticas para una IA fiable», presentadas en 2019 por el grupo de expertos de alto nivel sobre inteligencia artificial, la Comisión Europea propuso en 2021 un marco jurídico general para la IA (Ley de Inteligencia Artificial) que establece requisitos obligatorios para los sistemas de IA de «alto riesgo» en varios ámbitos, incluida la educación y la formación profesional. Basadas en la evolución normativa y política de la UE en materia de IA y datos, que incluye el RGPD y la propuesta de una Ley de Datos, las presentes directrices, que tienen en cuenta el contexto específico de la educación y la formación, ofrecen sensibilización y orientación práctica a los agentes educativos que se enfrentan cada vez más al uso de la IA en su práctica docente. Para comprender mejor el contexto normativo de la UE en lo referente a una IA fiable, consúltese: la propuesta de Marco reglamentario sobre inteligencia artificial1; el trabajo del grupo de expertos de alto nivel sobre la IA, que incluye las Directrices éticas para una IA fiable y la Lista de evaluación para una IA fiable2; así como el trabajo de la Comisión Europea en el ámbito de los datos3. Conceptos erróneos comunes sobre la IA Existen numerosas suposiciones y preocupaciones sobre la IA y sus La IA no desempeña ningún papel en repercusiones a corto y largo plazo en nuestros sistemas educativos y en la sociedad en general. En esta sección se abordan algunos de los mitos la educación más comunes sobre el uso de la IA y los datos en el contexto educativo.. La IA ya está cambiando nuestra forma de aprender, trabajar y vivir, y la educación se está viendo afectada por este cambio. Todo el mundo La IA es demasiado difícil de entender debe poder contribuir al desarrollo de la IA y beneficiarse de ella. Al Un gran número de personas que carecen de conocimientos hacer de los principios éticos una cuestión fundamental del debate informáticos se ven desalentadas por el lenguaje técnico asociado sobre el papel de la IA en la educación, podemos abrir el camino para a la IA y a los sistemas de datos. Incluso aquellos que cuentan con que los sistemas y soluciones de IA se desarrollen y utilicen de manera la formación pertinente pueden tener dificultades para comprender ética, fiable, justa e inclusiva. plenamente cómo funciona la IA, ya que se trata de un ámbito amplio y complejo. Esto se conoce a veces como el problema de la «caja La IA no es inclusiva negra», ya que es difícil comprender el funcionamiento interno de un La IA puede dar lugar a nuevas formas de desigualdad o discriminación sistema de IA. La inteligencia artificial no es un elemento específico, y exacerbar las ya existentes. Sin embargo, si se diseña y utiliza sino un conjunto de métodos y técnicas para crear un sistema de IA. En adecuadamente, también puede ofrecer oportunidades para mejorar el lugar de intentar comprender la plena funcionalidad de los sistemas acceso y la inclusión en la vida cotidiana, en el trabajo y en la educación. de IA, es más importante que los agentes educativos conozcan los También existe un potencial significativo para que la IA proporcione mecanismos básicos y las limitaciones de los sistemas de IA y de recursos educativos a los jóvenes con discapacidad y necesidades cómo pueden utilizarse para apoyar la enseñanza y el aprendizaje especiales. Por ejemplo, las soluciones basadas en la IA, como el de manera segura y ética. Estas directrices están concebidas para subtitulado en directo, pueden ayudar a las personas con discapacidad formular algunas preguntas básicas que deben plantearse al auditiva, mientras que la audiodescripción puede facilitar y mejorar el considerar el uso de un sistema de IA y proporcionan casos de uso acceso para las personas con problemas de visión. fáciles de comprender de la educación, así como un glosario que ayudará a entender la terminología que se utiliza para describir estos sistemas y lo que hacen. 1 Marco reglamentario sobre inteligencia artificial. https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai 2 Grupo de expertos de alto nivel sobre la IA. https://digital-strategy.ec.europa.eu/en/policies/expert-group-ai 3 Configurar el futuro digital de Europa: Datos. https://digital-strategy.ec.europa.eu/en/policies/data  Y L O S D AT O S E N L A E D U C AC I Ó N Y F O R M AC I Ó N PA R A L O S E D U C A D O R E S 13 No se puede confiar en los sistemas de IA La IA socavará el papel del A medida que los sistemas de IA se hagan más potentes, irán personal docente complementando o sustituyendo cada vez más algunas tareas Muchos docentes temen que, a medida que el uso y el impacto específicas que desempeñan las personas. Esto podría plantear de la inteligencia artificial en la educación se amplíen en el futuro, problemas éticos y de confianza en relación con la capacidad de estos sistemas reduzcan su papel o incluso los sustituyan. En tomar decisiones justas utilizando la IA, así como con la protección lugar de sustituir a los docentes, la IA puede apoyar su trabajo y de los datos recogidos y utilizados para apoyar dichas decisiones. permitirles diseñar experiencias de aprendizaje que capaciten a La complejidad del ámbito jurídico puede suponer un verdadero los aprendientes para ser creativos, pensar, resolver problemas del reto para los agentes educativos. Sin embargo, la propuesta de mundo real, colaborar eficazmente y proporcionar experiencias de Ley de Inteligencia Artificial de la UE contribuirá a garantizar que aprendizaje que los sistemas de IA por sí solos no pueden ofrecer. determinados sistemas de IA clasificados como de «alto riesgo» Además, la IA puede automatizar tareas administrativas repetitivas (habida cuenta de los riesgos que pueden suponer para la salud, permitiendo que se disponga de más tiempo para dedicarlo al entorno la seguridad y los derechos fundamentales de las personas) sean de aprendizaje. De este modo, es probable que el papel del docente desarrollados por los proveedores con arreglo a requisitos obligatorios se amplíe y evolucione con las capacidades que aportarán las nuevas para mitigar dichos riesgos y garantizar su fiabilidad. Por consiguiente, innovaciones en materia de IA en la educación. Sin embargo, esto las autoridades del sector educativo y las escuelas deben poder requiere una gobernanza diligente del desarrollo y el uso de las verificar que los sistemas de IA cumplen el marco reglamentario de aplicaciones de IA y centrarse en el mantenimiento de la capacidad la IA y centrarse en el uso ético de la IA y de los datos para apoyar de acción del profesorado. a los agentes educativos y a los aprendientes en la enseñanza, el aprendizaje y la evaluación, al tiempo que respetan la normativa aplicable en materia de protección de datos.  14 D I R EC T R I C E S É T I C A S S O B R E E L U S O D E L A I N T E L I G E N C I A A R T I F I C I A L (I A ) Ejemplos del uso de la IA y los datos en la educación El uso de sistemas de IA en las aulas de toda Europa está aumentando y la IA se está utilizando de diferentes maneras para apoyar las prácticas de enseñanza, aprendizaje y evaluación. La IA tiene un gran potencial para mejorar las prácticas docentes y de aprendizaje, así como para ayudar a las escuelas a mejorar su organización y su funcionamiento. Sin embargo, la investigación empírica sobre el efecto de la IA en la educación sigue siendo escasa, por lo que es importante mantener una actitud crítica y supervisada. A veces, los sistemas de IA pueden utilizarse de diferentes maneras para apoyar la enseñanza o facilitar el aprendizaje. Cuando hablamos de los tipos de sistemas de IA que se utilizan para la enseñanza, el aprendizaje, la evaluación y la administración de los centros educativos, se hace una distinción común entre sistemas de IA «orientada a los estudiantes», «orientada al profesorado» y «orientada al sistema». En esta sección se presentan cuatro casos de uso que se clasifican como: Enseñanza de los estudiantes: utilizar la IA para enseñar a los estudiantes (orientada a los estudiantes). Apoyo a los estudiantes: utilizar la IA para apoyar el aprendizaje de los estudiantes (orientada a los estudiantes). Apoyo al profesorado: utilizar la IA para apoyar al docente (orientada al profesorado). Apoyo al sistema: utilizar la IA para apoyar el diagnóstico o la planificación a nivel del sistema (orientada al sistema). Los casos de uso que se describen a continuación proporcionan información sobre la forma en que los agentes educativos y los aprendientes utilizan los sistemas de IA para apoyar el proceso de enseñanza, aprendizaje y evaluación. ENSEÑANZA DE LOS ESTUDIANTES Utilizar la IA para enseñar a los estudiantes Sistema de tutoría El aprendiente sigue una secuencia paso a paso de tareas y recibe instrucciones o inteligente comentarios personalizados sin necesidad de intervención del docente. El aprendiente sigue una secuencia paso a paso de tareas a través de una conversación en Sistemas de tutoría lenguaje natural. Los sistemas más avanzados pueden adaptarse automáticamente al nivel basados en el diálogo de participación para mantener al aprendiente motivado y centrado en la tarea. Las aplicaciones de aprendizaje basadas en la IA se utilizan en contextos de educación Aplicaciones de formal y no formal. Apoyan el aprendizaje al facilitar el acceso a cursos de idiomas aprendizaje de idiomas y diccionarios y proporcionan observaciones automatizadas en tiempo real sobre pronunciación, comprensión y fluidez.  Y L O S D AT O S E N L A E D U C AC I Ó N Y F O R M AC I Ó N PA R A L O S E D U C A D O R E S 15 APOYO A LOS ESTUDIANTES Utilizar la IA para apoyar el aprendizaje de los estudiantes Entornos de aprendizaje Se ofrecen a los aprendientes múltiples representaciones que les ayudan a identificar sus exploratorio propias vías para alcanzar los objetivos de aprendizaje. Evaluación formativa de Se facilita periódicamente a los alumnos observaciones automáticas sobre sus redacciones la escritura o trabajos. Los datos sobre el estilo de trabajo y el rendimiento anterior de cada aprendiente se utilizan Aprendizaje colaborativo para dividirlos en grupos con los mismos niveles de capacidad o una combinación adecuada apoyado por la IA de capacidades y talentos. Los sistemas de IA proporcionan comentarios o sugerencias sobre el trabajo de un grupo mediante el seguimiento del nivel de interacción entre sus miembros. APOYO AL PROFESORADO Utilizar la IA para apoyar al docente Evaluación sumativa de La IA se utiliza para evaluar y calificar automáticamente el trabajo escrito de los aprendientes. la escritura, calificación La IA y las técnicas de aprendizaje automático reconocen características como el uso de de redacciones palabras y la estructura gramatical y oracional para calificar y proporcionar observaciones. Las palabras clave en las publicaciones de los foros de estudiantes dan lugar a comentarios Seguimiento de foros automáticos. Los análisis de debates proporcionan información sobre la actividad del foro de de estudiantes estudiantes y pueden indicar quiénes pueden necesitar ayuda o no participan como se esperaba. Los agentes o robots conversacionales de IA ofrecen respuestas a las preguntas formuladas Asistentes pedagógicos habitualmente por los aprendientes con instrucciones y orientaciones sencillas. Con el basados en la IA tiempo, el sistema de IA puede ampliar la gama de respuestas y opciones que ofrece. Los motores de recomendaciones de IA se utilizan para sugerir actividades o recursos Recomendación sobre de aprendizaje específicos basados en las preferencias, el progreso y las necesidades de recursos pedagógicos cada estudiante. 16 D I R EC T R I C E S É T I C A S S O B R E E L U S O D E L A I N T E L I G E N C I A A R T I F I C I A L (I A ) APOYO AL SISTEMA IA para apoyar el diagnóstico o la planificación a nivel del sistema Los centros educativos recopilan datos de estudiantes que se analizan y utilizan para Prospección de datos planificar la mejor manera de destinar los recursos disponibles a tareas como la creación educativos para la de grupos de clases, la asignación de profesores, el calendario y la identificación de los asignación de recursos estudiantes que pueden necesitar ayuda adicional para el aprendizaje. Mediante el uso del análisis del aprendizaje se miden y utilizan capacidades cognitivas Diagnóstico de como el vocabulario, la escucha, el razonamiento espacial, la resolución de problemas y la dificultades específicas memoria para diagnosticar dificultades específicas de aprendizaje, en particular cuestiones de aprendizaje subyacentes que pueden ser difíciles de captar para los profesores, pero que se pueden detectar de forma temprana gracias a los sistemas de IA. Los servicios de orientación basados en la IA proporcionan constantemente temas u opciones para crear itinerarios para la educación futura. Los usuarios pueden crear un perfil de competencias que incluya la educación previa y recoja sus propios intereses. A partir de Servicios de orientación estos datos, combinados con información actualizada sobre la oferta académica o sobre oportunidades de estudio, pueden elaborarse recomendaciones de estudio pertinentes mediante el procesamiento del lenguaje natural.  Y L O S D AT O S E N L A E D U C AC I Ó N Y F O R M AC I Ó N PA R A L O S E D U C A D O R E S 17 «Las directrices éticas sobre el uso de la IA y los datos en la enseñanza y el aprendizaje son un proceso gradual de deliberación y aprendizaje continuos». Grupo de expertos sobre la IA y los datos en la educación y la formación  18 D I R EC T R I C E S É T I C A S S O B R E E L U S O D E L A I N T E L I G E N C I A A R T I F I C I A L (I A ) Consideraciones y requisitos éticos que acompañan a las directrices éticas Consideraciones éticas Al elaborar estas directrices, se identificaron cuatro consideraciones clave que respaldan el uso ético de la IA y los datos en la enseñanza, el aprendizaje y la evaluación que son la capacidad de acción humana, la equidad, la humanidad y la elección justificada. La capacidad de acción humana se refiere a la capacidad de una por su valor intrínseco y no como un objeto de datos o un medio para persona para convertirse en miembro competente de la sociedad. Una alcanzar un fin. Esta es la esencia del enfoque de la IA centrado en persona con capacidad de acción puede determinar sus opciones en el ser humano. la vida y ser responsable de sus acciones. La capacidad de acción sustenta conceptos ampliamente utilizados, como la autonomía, la La elección justificada se refiere al uso de conocimientos, autodeterminación y la responsabilidad. hechos y datos para justificar las elecciones colectivas necesarias o adecuadas por parte de múltiples partes interesadas en el entorno La equidad se refiere al trato justo de todas las personas en la escolar. Requiere transparencia y se basa en modelos participativos organización social. Se requieren procesos claros para que todos los y colaborativos de toma de decisiones, así como en la explicabilidad. usuarios tengan igualdad de acceso a las oportunidades, entre otras, la equidad, la inclusión, la no discriminación y la distribución justa de Estas consideraciones éticas son intrínsecamente valiosas y un derechos y responsabilidades. importante objetivo a lograr aplicarlas en la educación. Orientan a los agentes educativos y directores de centros de enseñanza en La humanidad aborda la consideración para las personas, su sus decisiones sobre el uso de los sistemas de IA en la educación. identidad, integridad y dignidad. Debemos tener en cuenta el Los requisitos éticos clave que se introducen a continuación pueden bienestar, la seguridad, la cohesión social, el contacto valioso y el ayudar a garantizar que los sistemas de IA utilizados en la educación respeto necesario para una conexión humana significativa. Esta y la formación sean fiables y aborden las preocupaciones pertinentes. conexión implica, por ejemplo, que nos acerquemos a las personas Requisitos clave para una IA fiable La Ley de Inteligencia Artificial propuesta por la Comisión establecerá Por consiguiente, los requisitos que figuran a continuación, basados requisitos jurídicamente vinculantes para los sistemas de IA en las Directrices éticas para una IA fiable elaboradas por el grupo de considerados de «alto riesgo» habida cuenta de su finalidad prevista4. expertos de alto nivel sobre la IA, son recomendables para cualquier Esto incluirá determinados sistemas de IA que se utilizan en el ámbito sistema de IA que se despliegue y utilice en el ámbito de la educación. de la educación y la formación profesional. Cuando entre en vigor la Abordan preocupaciones importantes, como el riesgo de sesgo o de Ley de Inteligencia Artificial, los centros de enseñanza, en su calidad error que afecte a los resultados educativos: de usuarios de sistemas de IA, podrán confiar en la fiabilidad de estos La capacidad de acción y vigilancia humanas, incluidos los sistemas de IA de «alto riesgo» sobre la base de la correspondiente derechos fundamentales, los derechos de los niños, la capacidad de certificación garantizada por el proveedor, al tiempo que tendrán que acción humana y la vigilancia humana. cumplir determinadas obligaciones. La transparencia, incluidas la trazabilidad, la explicabilidad y Con independencia de si los sistemas de IA entran en el ámbito de la comunicación. aplicación del marco jurídico, se alienta a las empresas dedicadas al desarrollo y suministro de sistemas de IA (proveedores de sistemas) a La diversidad, no discriminación y equidad, en particular la que implementen y apliquen los requisitos éticos para una IA fiable en sus accesibilidad, el diseño universal, la prevención de sesgos injustos procesos de diseño y desarrollo. Al mismo tiempo, es importante que las y la participación de las partes interesadas, lo que permite el uso escuelas y los agentes educativos conozcan dichos requisitos y puedan independientemente de la edad, el género, las capacidades o formular preguntas pertinentes para reflexionar mejor sobre ellos. las características, con especial atención a los estudiantes con necesidades especiales. 4 Los requisitos propuestos están relacionados con la gestión de riesgos, los datos de entrenamiento y de prueba del sistema de IA y la gobernanza de datos, el suministro de documentación técnica, el registro, la transparencia y la comunicación de información a los usuarios y la vigilancia humana, así como la solidez, la precisión y la ciberseguridad.  Y L O S D AT O S E N L A E D U C AC I Ó N Y F O R M AC I Ó N PA R A L O S E D U C A D O R E S 19 El bienestar social y medioambiental, en particular la La rendición de cuentas, incluidas la auditabilidad, la minimización sostenibilidad y el respeto del medio ambiente, el impacto social, la de los efectos negativos y su notificación, los compromisos y las sociedad y la democracia. compensaciones. Las consideraciones y los requisitos pueden ayudar a los agentes educativos, los directores de centros de enseñanza y los La privacidad y gobernanza de datos, en particular el respeto proveedores de tecnología a evaluar adecuadamente las repercusiones, de la privacidad, la calidad y la integridad de los datos, así como el abordar los posibles riesgos y aprovechar los beneficios de un sistema acceso a ellos. de IA desplegado y utilizado en la educación. Como tales, orientan el La solidez técnica y seguridad, en particular la resiliencia frente desarrollo, el despliegue y el uso de sistemas de IA fiables. a los ataques, la protección y la seguridad general, la precisión, la fiabilidad y la reproducibilidad. Preguntas orientativas para los agentes educativos Aunque puede que al considerar el uso de un sistema de IA no sea Aunque las preguntas orientativas ofrecen indicaciones y tienen por necesario comprender su funcionamiento, es importante que la escuela objeto iniciar una reflexión por parte de los agentes educativos en sus o el agente educativo puedan formular algunas preguntas pertinentes prácticas profesionales, no pueden sustituir a una evaluación jurídica y entablar un diálogo constructivo con los proveedores de sistemas de o ética exhaustiva. Esta última debe llevarse a cabo sobre la base de IA o con los organismos públicos responsables (como las autoridades la Lista de evaluación para una IA fiable (ALTAI), así como de la futura de vigilancia del mercado, los ministerios de educación, las autoridades Ley de Inteligencia Artificial. No obstante, las preguntas ayudarán a educativas regionales y locales y las autoridades escolares). Las los agentes educativos a abordar mejor una tecnología compleja y preguntas orientativas que figuran a continuación se basan en los sumamente innovadora, así como a crear concienciación al respecto. requisitos clave para unos sistemas de IA fiables y sirven para permitir un diálogo constructivo sobre su uso ético en la educación y la formación. Algunas de ellas se centran en mayor medida en cuestiones prácticas de aplicación y otras en consideraciones éticas. 1 Capacidad de acción y vigilancia humanas ¿Se define claramente el papel del profesorado para garantizar que haya un docente informado cuando se utilice el sistema de IA? ¿Cómo afecta el sistema de IA al papel didáctico del docente? ¿Las decisiones que afectan a los estudiantes se aplican con la intervención del docente y puede este detectar anomalías o posibles discriminaciones? ¿Existen procedimientos para que los profesores supervisen e intervengan, por ejemplo, en situaciones en las que se requiere empatía al tratar con los aprendientes o los progenitores? ¿Existe un mecanismo que permita a los aprendientes no participar si no se han abordado adecuadamente las preocupaciones? ¿Existen sistemas de seguimiento para evitar un exceso de confianza en el sistema de IA o de dependencia de este? ¿Dispone el profesorado y el personal directivo de los centros de enseñanza de toda la formación y la información necesarias para utilizar eficazmente el sistema y garantizar que sea seguro y no cause daños ni vulnere los derechos de los estudiantes? 2 Transparencia ¿Conoce el profesorado y el personal directivo de los centros de enseñanza los métodos y las características de IA que utiliza el sistema? ¿Está claro qué aspectos pueden quedar a cargo de la IA y cuáles no dentro del sistema? ¿Entiende el profesorado y el personal directivo de los centros de enseñanza cómo funcionan los algoritmos específicos de evaluación o personalización dentro del sistema de IA? ¿Se centran los procesos y resultados del sistema en los resultados del aprendizaje previstos para los aprendientes? ¿En qué medida son fiables las predicciones, evaluaciones y clasificaciones del sistema de IA para explicar y evaluar la pertinencia de su uso? ¿Son accesibles las instrucciones y la información y se presentan de manera clara tanto para el profesorado como para los aprendientes? 20 D I R EC T R I C E S É T I C A S S O B R E E L U S O D E L A I N T E L I G E N C I A A R T I F I C I A L (I A ) 3 Diversidad, no discriminación y equidad ¿Es accesible el sistema para todos de la misma manera sin obstáculos? ¿Ofrece el sistema modos de interacción adecuados para los aprendientes con discapacidad o con necesidades educativas especiales? ¿Está diseñado el sistema de IA para tratar a los aprendientes de manera respetuosa y adaptarse a sus necesidades individuales? ¿Es la interfaz de usuario adecuada y accesible para el nivel de edad de los aprendientes? ¿Se ha probado la aptitud para el uso y la experiencia de usuario para el grupo de edad seleccionado? ¿Existen procedimientos para garantizar que el uso de la IA no dé lugar a discriminaciones o comportamientos desleales para todos los usuarios? ¿Ofrece la documentación del sistema de IA o su proceso de entrenamiento información sobre posibles sesgos en los datos? ¿Existen procedimientos para detectar y abordar los sesgos o las desigualdades percibidas que puedan surgir? 4 Bienestar social y medioambiental ¿Cómo afecta el sistema de IA al bienestar social y emocional de aprendientes y profesores? ¿Indica claramente el sistema de IA que su interacción social es simulada y que no tiene capacidad de sentir o de empatía? ¿Participan los estudiantes o sus progenitores en la decisión de utilizar el sistema de IA y la apoyan? ¿Se utilizan los datos para ayudar al profesorado y al personal directivo de los centros de enseñanza a evaluar el bienestar de los estudiantes y, en caso afirmativo, cómo se lleva a cabo el seguimiento en este sentido? ¿El uso del sistema provoca daños o temor a las personas o a la sociedad?  Y L O S D AT O S E N L A E D U C AC I Ó N Y F O R M AC I Ó N PA R A L O S E D U C A D O R E S 21 5 Privacidad y gobernanza de datos ¿Existen mecanismos para garantizar el anonimato de los datos sensibles? ¿Existen procedimientos para limitar el acceso a los datos únicamente a quienes los necesiten? ¿Se protege el acceso a los datos del aprendiente, se almacenan en un lugar seguro y se utilizan únicamente para los fines para los que se recogieron? ¿Existe un mecanismo que permita al profesorado y al personal directivo de los centros de enseñanza señalar problemas relacionados con la privacidad o la protección de los datos? ¿Se informa a los aprendientes y al profesorado de lo que ocurre con sus datos, cómo se utilizan y con qué fines? ¿Es posible personalizar la configuración de la privacidad y los datos? ¿Cumple el sistema de IA el Reglamento General de Protección de Datos? 6 Solidez y seguridad técnicas ¿El nivel de protección es suficiente para garantizar la seguridad de los datos? ¿Existe una estrategia para supervisar y comprobar si el sistema de IA cumple los objetivos, los fines y las aplicaciones previstas? ¿Existen mecanismos de vigilancia adecuados para la recogida, el almacenamiento, el tratamiento, la minimización y el uso de los datos? ¿Se dispone de información para garantizar a los aprendientes y los progenitores la solidez técnica y la seguridad del sistema? 7 Rendición de cuentas ¿Quién es responsable del seguimiento continuo de los resultados obtenidos por el sistema de IA y de cómo se utilizan los resultados para mejorar la enseñanza, el aprendizaje y la evaluación? ¿Cómo se evalúa la eficacia y el impacto del sistema de IA y cómo tiene en cuenta esta evaluación los valores clave de la educación? ¿Quién es responsable y debe rendir cuentas de las decisiones finales adoptadas en relación con la adquisición e implementación del sistema de IA? ¿Existe un acuerdo de nivel de servicio en el que se describan claramente los servicios de apoyo y mantenimiento, así como las medidas que deben adoptarse para abordar los problemas notificados?  22 D I R EC T R I C E S É T I C A S S O B R E E L U S O D E L A I N T E L I G E N C I A A R T I F I C I A L (I A ) Orientaciones para agentes educativos y directores de centros de enseñanza La inteligencia artificial podría desempeñar un papel clave en la mejora de las prácticas de enseñanza, aprendizaje y evaluación para los agentes educativos y los aprendientes. Ya sea a nivel del sistema, de la escuela o del aula, es importante que se preste especial atención al uso ético de la IA y los sistemas de datos. Esto debe hacerse de manera constante y la dirección del centro debe asumir un papel de liderazgo en ello. Se trata de una serie de pasos básicos que los agentes educativos y directores de centros de enseñanza pueden adoptar para revisar cómo se están utilizando o pueden utilizarse la IA y los datos en toda la escuela, de modo que conduzcan a mejores resultados para todos los aprendientes, teniendo en cuenta al mismo tiempo las consideraciones éticas. Utilización de las preguntas orientativas Las preguntas orientativas pueden utilizarse de diferentes maneras Estos casos de uso en la escuela ofrecen ejemplos de cómo las para revisar un sistema de IA antes de que se instale en una escuela preguntas orientativas pueden servir de base para el uso ético o mientras se utiliza. Las preguntas pueden formularse sobre y responsable de los sistemas de IA. Aunque todas las preguntas los propios agentes educativos, a los responsables de la toma de orientativas pueden servir para cualquier supuesto, se destacan tres decisiones de gestión o a los proveedores del sistema. Las preguntas de ellas como ejemplos según su pertinencia para la solución de IA también pueden servir de base para el debate con los aprendientes, propuesta en respuesta a un objetivo determinado. En particular, los progenitores y la comunidad escolar en general. algunos de estos casos de uso en la escuela pasarán a estar sujetos al marco normativo de la IA y los respectivos sistemas regulados de IA estarán sujetos a requisitos y obligaciones vinculantes. Utilizar tecnologías de aprendizaje que se adapten a la capacidad de cada aprendiente Una escuela primaria utiliza un sistema Las siguientes preguntas orientativas destacan los ámbitos que de tutoría inteligente para orientar requieren atención: automáticamente a los aprendientes hacia ¿Se centran los procesos y resultados del sistema en los resultados del recursos específicos que den respuesta aprendizaje previstos para los aprendientes? ¿En qué medida son fiables las a sus necesidades de aprendizaje. El predicciones, evaluaciones y clasificaciones del sistema de IA para explicar y sistema basado en la IA utiliza los evaluar la pertinencia de su uso? Transparencia datos del aprendiente para adaptar los problemas a sus niveles de conocimiento ¿Ofrece el sistema modos de interacción adecuados para los aprendientes previstos. Además de proporcionar con discapacidad o con necesidades educativas especiales? ¿Está diseñado información constante al aprendiente, el el sistema de IA para tratar a los aprendientes de manera respetuosa y sistema aporta información en tiempo adaptarse a sus necesidades individuales? real sobre su progreso en un cuadro de Diversidad, no discriminación y equidad indicadores del profesorado. ¿Existen sistemas de seguimiento para evitar un exceso de confianza en el sistema de IA o de dependencia de este?    Capacidad de acción y vigilancia humanas  Y L O S D AT O S E N L A E D U C AC I Ó N Y F O R M AC I Ó N PA R A L O S E D U C A D O R E S 23 Utilizar cuadros de indicadores sobre los estudiantes con el objetivo de orientarles a lo largo de su proceso de aprendizaje Un centro de enseñanza secundaria Las siguientes preguntas orientativas destacan los ámbitos que está estudiando utilizar un cuadro de requieren atención: indicadores en línea y personalizado ¿Indica claramente el sistema de IA que su interacción social es simulada y para estudiantes que proporcionará que no tiene capacidad de sentir o de empatía? observaciones a los aprendientes y Bienestar social y medioambiental apoyará el desarrollo de sus capacidades de autorregulación. En lugar de centrarse ¿Se protege el acceso a los datos del aprendiente, se almacenan en un lugar en lo aprendido, las visualizaciones seguro y se utilizan únicamente para los fines para los que se recogieron? proporcionan al estudiante una visión de Privacidad y gobernanza de datos cómo está aprendiendo. ¿Existe un acuerdo de nivel de servicio en el que se describan claramente los servicios de apoyo y mantenimiento, así como las medidas que deben adoptarse para abordar los problemas notificados? Rendición de cuentas Proporcionar intervenciones personalizadas para dar respuesta a necesidades especiales Una escuela está estudiando cómo Las siguientes preguntas orientativas destacan ámbitos que pueden ayudar los sistemas de IA a requieren atención: reducir los obstáculos para los estudiantes ¿Existen procedimientos para que los profesores supervisen e intervengan, con necesidades educativas especiales. por ejemplo, en situaciones en las que se requiere empatía al tratar con los La escuela está probando actualmente aprendientes o los progenitores? un sistema de IA para detectar las Capacidad de acción y vigilancia humanas necesidades de apoyo de los estudiantes en una fase temprana y ofrecerles apoyo ¿Se dispone de información para garantizar a los aprendientes y los pedagógico a medida. Al detectar patrones progenitores la solidez técnica y la seguridad del sistema? de las características correspondientes a Solidez técnica y seguridad partir de parámetros como el rendimiento ¿Se define claramente el papel del profesorado para garantizar que haya del aprendizaje, la capacidad de atención un docente informado cuando se utilice el sistema de IA? ¿Cómo afecta el en las pruebas normalizadas o la sistema de IA al papel didáctico del docente? velocidad de lectura, el sistema sugiere Capacidad de acción y vigilancia humanas probabilidades de diagnósticos específicos y recomendaciones conexas para las intervenciones. 24 D I R EC T R I C E S É T I C A S S O B R E E L U S O D E L A I N T E L I G E N C I A A R T I F I C I A L (I A ) Calificación de redacciones mediante herramientas automatizadas Una escuela está estudiando el modo en Las siguientes preguntas orientativas destacan los ámbitos que que los sistemas de IA pueden apoyar la requieren atención: evaluación de las tareas escritas de los ¿Existen procedimientos para garantizar que el uso de la IA no dé lugar a estudiantes. Un proveedor ha recomendado discriminaciones o comportamientos desleales para todos los usuarios? un sistema automatizado de calificación de Diversidad, no discriminación y equidad redacciones que utiliza amplios modelos de lenguaje natural para evaluar diversos ¿Quién es responsable del seguimiento continuo de los resultados obtenidos aspectos del texto con gran precisión. El por el sistema de IA y de cómo se utilizan los resultados para mejorar la sistema puede utilizarse para analizar enseñanza, el aprendizaje y la evaluación? Rendición de cuentas las tareas de los estudiantes, detectar ¿Entiende el profesorado y el personal directivo de los centros de enseñanza automáticamente los errores y asignar cómo funcionan los algoritmos específicos de evaluación o personalización calificaciones. También se puede utilizar dentro del sistema de IA? Transparencia para producir ejemplos de redacciones. Con el tiempo, el sistema puede entrenar a grandes redes neuronales artificiales con casos históricos que contienen diversos tipos de errores cometidos por estudiantes para ofrecer una calificación aún más precisa. El sistema dispone de una opción para detectar automáticamente casos de plagio o violación de los derechos de autor en obras escritas presentadas por los estudiantes.  Y L O S D AT O S E N L A E D U C AC I Ó N Y F O R M AC I Ó N PA R A L O S E D U C A D O R E S 25 Gestión de la matriculación de estudiantes y planificación de recursos Una escuela utiliza los datos recogidos Las siguientes preguntas orientativas destacan los ámbitos que cuando los estudiantes se matriculan requieren atención: para predecir y organizar mejor el número ¿Quién es responsable del seguimiento continuo de los resultados obtenidos de alumnos que asistirán el año siguiente. por el sistema de IA y de cómo se utilizan los resultados para mejorar la El sistema de IA también se utiliza para enseñanza, el aprendizaje y la evaluación? Rendición de cuentas contribuir a la planificación, la asignación de recursos, la asignación de clases y la ¿Existen mecanismos para garantizar el anonimato de los datos sensibles? elaboración de presupuestos con criterios ¿Existen procedimientos para limitar el acceso a los datos únicamente a prospectivos. Esto ha permitido que la quienes los necesiten? Privacidad y gobernanza de datos escuela considere una mayor cantidad ¿Cómo se evalúa la eficacia y el impacto del sistema de IA y cómo tiene en de atributos de los estudiantes que en cuenta esta evaluación los valores clave de la educación? el pasado, por ejemplo, para aumentar Rendición de cuentas la paridad de género y la diversidad entre el alumnado. En la actualidad, la escuela está estudiando la posibilidad de utilizar calificaciones anteriores y otros parámetros, como pruebas normalizadas, para establecer objetivos a lograr por los alumnos y para ayudar a los agentes educativos a predecir el éxito de los estudiantes en cada asignatura. Utilizar robots conversacionales para orientar a los aprendientes y los progenitores a través de las tareas administrativas Un centro de enseñanza utiliza un robot Las siguientes preguntas orientativas destacan los ámbitos que conversacional como asistente virtual en su requieren atención: sitio web para orientar a los aprendientes ¿Indica claramente el sistema de IA que su interacción social es simulada y y los progenitores a través de tareas que no tiene capacidad de sentir o de empatía? administrativas como la matriculación en Bienestar social y medioambiental cursos, el pago de las tasas de los cursos o el registro de incidencias técnicas. El ¿Existe una estrategia para supervisar y comprobar si el sistema de IA sistema también se utiliza para ayudar a cumple los objetivos, los fines y las aplicaciones previstas? los estudiantes a encontrar oportunidades Solidez técnica y seguridad de aprendizaje y para ofrecerles ¿Existe un mecanismo que permita al profesorado y al personal directivo de observaciones sobre pronunciación o los centros de enseñanza señalar problemas relacionados con la privacidad comprensión. El asistente virtual también o la protección de los datos? se emplea para apoyar a los estudiantes Privacidad y gobernanza de datos con necesidades educativas especiales en la realización de tareas administrativas.  26 D I R EC T R I C E S É T I C A S S O B R E E L U S O D E L A I N T E L I G E N C I A A R T I F I C I A L (I A ) Planificación para un uso eficaz de la IA y los datos en la escuela Cuando se considera el uso de la IA y los datos, es importante que la escuela prepare y ponga en marcha un proceso colaborativo y reflexivo de revisión interna de la escuela. Esto requiere que los agentes educativos examinen cómo pueden utilizar los sistemas de IA para apoyar positivamente su labor docente y el aprendizaje de los estudiantes. Puede resultar muy complicado predecir las consecuencias y el impacto del uso de los datos y la IA en la educación. Por lo tanto, es necesario un enfoque progresivo para el desarrollo y el despliegue de estas tecnologías y su evaluación. La idea consiste en ir introduciendo gradualmente estas herramientas en sus contextos y supervisar constantemente los efectos sociales que pueden surgir, dejando abierta al mismo tiempo la posibilidad de retroceder cuando se produzcan consecuencias no deseadas. La aplicación ética de la IA en la educación requiere capacidad de decidir a nivel institucional, de los estudiantes, de los agentes educativos y de la dirección de las escuelas. Revisar los sistemas de IA actuales y el Llevar a cabo una experiencia piloto con uso de los datos el sistema de IA Las preguntas formuladas en estas directrices pueden utilizarse como Antes de introducir nuevos sistemas de IA en toda la escuela, punto de partida para indagar sobre los sistemas de IA ya existentes puede ser útil probar el sistema con una determinada cohorte de o como base para el debate si se considera el uso futuro de la IA y los aprendientes. Es importante tener una visión clara de lo que la escuela datos en un centro educativo. Cuando se lleva a cabo una revisión, pretende conseguir con la nueva tecnología, de modo que se pueda resulta útil enumerar los datos que está recopilando la escuela y tomar una decisión informada con la participación de los estudiantes aclarar cuál es su finalidad. Los centros educativos deben considerar si y sus progenitores. Se requieren criterios de evaluación específicos existe información menos específica que pueda recogerse para lograr para poder juzgar con conocimiento de causa la eficacia del sistema el mismo resultado. También deben tener en cuenta cuánto tiempo se de IA en cuanto a mejora de los resultados del aprendizaje, la relación necesitarán los datos y cómo podría conservarlos el centro durante el entre los costes y las prestaciones y el uso ético. Esto también pondrá menor tiempo posible. El Reglamento General de Protección de Datos de relieve algunas de las cuestiones clave que puede ser necesario (RGPD) de la Unión Europea requiere este tipo de análisis. plantear al proveedor antes de adquirir el sistema. Poner en marcha políticas y procedimientos Colaborar con el proveedor del sistema Antes de implementar un sistema de IA, es necesario establecer de IA políticas y procedimientos a escala del centro educativo con el objetivo Es importante mantener el contacto con el proveedor del sistema de IA de definir las expectativas y proporcionar orientaciones sobre cómo antes de proceder a su despliegue y a lo largo de todo su ciclo de vida. abordar de manera coherente los problemas que surjan y que podrían Además, se debe solicitar documentación técnica clara y aclaraciones incluir medidas dirigidas a: sobre cualquier aspecto que sea confuso. Debe formalizarse un garantizar la adquisición pública de una IA fiable y centrada en el acuerdo de nivel de servicio con el proveedor en el que se establezcan ser humano; los servicios de apoyo y mantenimiento y las medidas que deben adoptarse para abordar los problemas notificados. El proveedor aplicar la vigilancia humana; debe proporcionar garantías en cuanto al cumplimiento por su parte garantizar que los datos de entrada sean pertinentes para la de las obligaciones legales aplicables. El centro educativo también finalidad prevista del sistema de IA; debe considerar la futura dependencia del proveedor si, por ejemplo, pretende cambiar de proveedor en el futuro o adoptar un sistema de formar adecuadamente al personal; IA completamente distinto. También es importante que la escuela supervisar el funcionamiento del sistema de IA y adoptar medidas aplique todas las medidas de vigilancia humana determinadas por el correctoras; así como proveedor cuando se utilice el sistema de IA. cumplir las obligaciones que emanan del RGPD, incluida la Supervisar el funcionamiento del sistema realización de una evaluación de impacto relativa a la protección de los datos. de IA y evaluar el riesgo Esto proporcionará orientaciones sobre lo que constituye un El uso del sistema de IA debe ser objeto de un seguimiento continuo comportamiento adecuado, inadecuado o inaceptable y contribuirá para evaluar su impacto en las prácticas de aprendizaje, enseñanza y a garantizar que las personas reciban un trato justo e igualitario. Es evaluación. A nivel escolar, será importante decidir cómo se organizará importante que las políticas y los procedimientos se comuniquen a y llevará a cabo este seguimiento, quién será responsable y cómo se los agentes educativos, los aprendientes y los progenitores para que determinarán los avances y se informará sobre ellos. Las pruebas comprendan lo que se espera de ellos. recogidas como resultado del seguimiento continuo deben orientar e influenciar el uso futuro de los sistemas de IA o la decisión de no utilizarlos en determinadas circunstancias.  Y L O S D AT O S E N L A E D U C AC I Ó N Y F O R M AC I Ó N PA R A L O S E D U C A D O R E S 27 Sensibilización y compromiso de la comunidad educativa Debate con homólogos Comunicación con los progenitores, La colaboración entre agentes educativos contribuye a la mejora los aprendientes y la comunidad escolar de la escuela y al éxito de los estudiantes. A menudo, los agentes La participación de los progenitores y los aprendientes en los debates educativos se apoyan mutuamente y pueden delegar tareas con el fin y en la toma de decisiones mejorará la comprensión y la confianza de mejorar el nivel de eficacia colectiva. El trabajo colaborativo puede en lo que la escuela pretende lograr mediante el uso de sistemas de ayudar a tomar decisiones mejor fundamentadas y a garantizar un IA. Debe prestarse especial atención a explicar qué datos se están enfoque más coherente del uso de la IA y los sistemas de datos en recogiendo, qué se está haciendo con ellos, cómo y por qué se recogen toda la escuela. y cómo se protegen. Será importante compartir estas explicaciones con los aprendientes y los progenitores y ofrecerles la oportunidad Colaborar con otros centros educativos de aportar comentarios y expresar sus posibles preocupaciones. Los La colaboración entre centros educativos es una forma eficaz de aprendientes, dependiendo de su edad, pueden necesitar enfoques compartir experiencias y mejores prácticas y aprender cómo han diferentes para conseguir que se involucren de modo que puedan aplicado otras escuelas los sistemas de IA. Esto también puede participar en la toma de decisiones con conocimiento de causa. ser útil para identificar y tratar con proveedores fiables de IA y de sistemas de datos que cumplan los requisitos clave para una IA Mantenerse al día digna de confianza. Es importante que las escuelas participen en Conforme estos sistemas evolucionan y aumenta el uso de los datos, proyectos y experimentos supervisados organizados a nivel regional, resulta muy importante comprender mejor su impacto en el mundo nacional o europeo a través de iniciativas como Erasmus+. Esto ofrece que nos rodea, especialmente en el campo de la educación y la a los agentes educativos y a los directores de centros educativos la formación. Los agentes educativos deberán mantenerse informados oportunidad de participar de forma colaborativa en un proceso de de las nuevas innovaciones y avances mediante la participación en el investigación aplicada y orientar el uso y el desarrollo futuros de la IA aprendizaje profesional continuo y en comunidades de práctica. Los y el uso de datos en los centros. directores de centros de enseñanza deberán ofrecer oportunidades al personal para mejorar sus capacidades y seguir desarrollando competencias para el uso ético de la IA y los datos.  28 D I R EC T R I C E S É T I C A S S O B R E E L U S O D E L A I N T E L I G E N C I A A R T I F I C I A L (I A ) Competencias emergentes para el uso ético de la IA y los datos Los agentes educativos y los directores de centros de enseñanza cibercapacidades que se tendrán en cuenta en el contexto del desempeñan un papel fundamental en el éxito de la adopción de los Marco Europeo de Competencias Digitales para Educadores sistemas de IA y en el aprovechamiento de los posibles beneficios (DigCompEdu) que proporciona un marco general de referencia de los datos digitales en la educación. Por ello, es importante que para apoyar el desarrollo de competencias digitales específicas de el profesorado y el personal directivo de los centros de enseñanza los agentes educativos en Europa. A continuación figuran algunos conozcan y aprecien las oportunidades y los retos de utilizar sistemas posibles indicadores de las competencias emergentes de los agentes de IA y el modo en que pueden mejorar las prácticas de enseñanza, educativos y de los directores de centros de enseñanza para el uso aprendizaje y evaluación. Esto conducirá al desarrollo de nuevas ético de la IA y los datos en la enseñanza y el aprendizaje. Ámbito 1: Compromiso profesional Utilizar tecnologías digitales para la comunicación, la colaboración y el desarrollo profesional Elemento de competencia Posibles indicadores Participa activamente en el aprendizaje profesional continuo sobre IA y análisis del aprendizaje y su uso ético. Es capaz de describir críticamente los impactos Es capaz de poner ejemplos de sistemas de IA y describir su pertinencia. positivos y negativos de la IA y Sabe cómo se evalúa el impacto ético de los sistemas de IA en la escuela. el uso de datos en la educación Sabe cómo iniciar y promover estrategias en toda la escuela y en su comunidad en general que promuevan un uso ético y responsable de la IA y los datos. Es consciente de que los algoritmos de IA funcionan de un modo que normalmente no es visible o fácilmente comprensible para los usuarios. Es capaz de interactuar y proporcionar observaciones al sistema de IA para Comprender los fundamentos influir en lo que recomienda a continuación. de la IA y el análisis del Es consciente de que los sensores utilizados en muchas tecnologías y aprendizaje aplicaciones digitales generan grandes cantidades de datos, en particular datos personales, que pueden utilizarse para entrenar a un sistema de IA. Conoce las directrices éticas de la UE en materia de IA y los instrumentos de autoevaluación.  Y L O S D AT O S E N L A E D U C AC I Ó N Y F O R M AC I Ó N PA R A L O S E D U C A D O R E S 29 Ámbito 2: Recursos digitales Obtener, crear y compartir recursos digitales Elemento de competencia Posibles indicadores Es consciente de las diversas formas de datos personales utilizados en la educación y la formación. Es consciente de las responsabilidades en el mantenimiento de la seguridad y la privacidad de los datos. Sabe que el tratamiento de datos personales está sujeto a la normativa nacional y de la UE, incluido el RGPD. Sabe que, por lo general, el tratamiento de datos personales en el ámbito de la Gobernanza de datos educación obligatoria no puede basarse en el consentimiento del usuario. Sabe quién tiene acceso a los datos de los estudiantes, cómo se controla el acceso y durante cuánto tiempo se conservan los datos. Sabe que todos los ciudadanos de la UE tienen derecho a no estar sujetos a una toma de decisiones totalmente automatizada. Es capaz de ofrecer ejemplos de datos sensibles, incluidos datos biométricos. Puede sopesar los beneficios y los riesgos antes de permitir a terceros el tratamiento de datos personales, especialmente cuando se utilizan sistemas de IA. Sabe que los sistemas de IA están sujetos a la normativa nacional y de la UE (en particular, la Ley de Inteligencia Artificial pendiente de adopción). Puede explicar el enfoque basado en el riesgo de la Ley de Inteligencia Artificial (pendiente de adopción). Conoce los casos de uso de la IA de alto riesgo en la educación y los requisitos Gobernanza de la IA conexos en virtud de la Ley de Inteligencia Artificial (cuando se adopte). Sabe cómo incorporar contenidos digitales de IA editados o manipulados a su propio trabajo y cómo debe acreditarse ese trabajo. Es capaz de explicar los principios clave de la calidad de los datos en los sistemas de IA. 30 D I R EC T R I C E S É T I C A S S O B R E E L U S O D E L A I N T E L I G E N C I A A R T I F I C I A L (I A ) Ámbito 3: Enseñanza y aprendizaje Gestionar y organizar las tecnologías digitales en la enseñanza y el aprendizaje Elemento de competencia Posibles indicadores Sabe que los sistemas de IA aplican la interpretación del diseñador de lo que es Modelos de aprendizaje el aprendizaje y cómo puede medirse; puede explicar las principales hipótesis pedagógicas que sustentan un determinado sistema de aprendizaje digital. Sabe cómo aborda un sistema digital determinado los diferentes objetivos Objetivos de la educación sociales de la educación (cualificación, socialización, subjetivación). Es capaz de tener en cuenta el impacto del sistema de IA en la autonomía del Capacidad de acción humana docente, el desarrollo profesional y la innovación educativa. Considera las fuentes de sesgos inaceptables en la IA basada en datos. Considera los riesgos relacionados con la dependencia emocional y la imagen Equidad de sí mismos de los estudiantes al utilizar sistemas interactivos de IA y análisis del aprendizaje. Es capaz de tener en cuenta el impacto de la IA y el uso de datos en la comunidad de estudiantes. Humanidad Muestra seguridad al debatir sobre los aspectos éticos de la IA y cómo influyen en la forma en que se utiliza la tecnología. Participa en el desarrollo de Puede explicar cómo se consideran y negocian los principios y valores éticos en prácticas de aprendizaje que el diseño y la creación conjuntos de prácticas de aprendizaje que utilizan la IA y utilizan la IA y los datos los datos (relacionados con el diseño del aprendizaje). Ámbito 4: Evaluación Utilizar tecnologías y estrategias digitales para mejorar la evaluación Elemento de competencia Posibles indicadores Es consciente de que los estudiantes reaccionan de diferentes maneras a las Diferencias personales observaciones automatizadas. Considera las fuentes de sesgos inaceptables en los sistemas de IA y cómo Sesgo algorítmico pueden mitigarse. Es consciente de que los sistemas de IA evalúan el progreso de los estudiantes sobre la base de modelos predefinidos de conocimientos específicos de cada ámbito. Enfoque cognitivo Es consciente de que la mayoría de los sistemas de IA no evalúan la colaboración, las competencias sociales ni la creatividad. Nuevas formas de utilizar Es consciente de las formas comunes de manipular la evaluación basada en la IA. indebidamente la tecnología  Y L O S D AT O S E N L A E D U C AC I Ó N Y F O R M AC I Ó N PA R A L O S E D U C A D O R E S 31 Ámbito 5: Capacitar a los aprendientes Utilizar las tecnologías digitales para mejorar la inclusión, la personalización y la participación activa de los aprendientes Elemento de competencia Posibles indicadores Conoce las diferentes maneras en que los sistemas de aprendizaje personalizados pueden adaptar su comportamiento (contenido, itinerario educativo, enfoque pedagógico). Es capaz de explicar cómo un sistema determinado puede beneficiar a todos Utilización de la IA para abordar los estudiantes, independientemente de sus diferencias cognitivas, culturales, las diversas necesidades de económicas o físicas. aprendizaje de los aprendientes Es consciente de que los sistemas de aprendizaje digital dan un tratamiento distinto a los diferentes grupos de estudiantes. Es capaz de tener en cuenta el efecto en el desarrollo de la eficacia individual, la imagen propia, la mentalidad y las capacidades cognitivas y afectivas de autorregulación de los estudiantes. Sabe que el uso de la IA y los datos puede beneficiar a algunos aprendientes más que a otros. Puede explicar qué pruebas se han utilizado para justificar el despliegue de un Elección justificada determinado sistema de IA en el aula. Reconoce la necesidad de un seguimiento constante de los resultados del uso de la IA y de aprender de los resultados imprevistos. Ámbito 6: Facilitar las cibercapacidades de los aprendientes Hacer posible que los aprendientes utilicen de forma creativa y responsable las tecnologías digitales para la información, la comunicación, la creación de contenidos, el bienestar y la resolución de problemas Elemento de competencia Posibles indicadores Ética de la IA y el análisis Es capaz de utilizar proyectos y despliegues de IA para ayudar a los estudiantes a del aprendizaje aprender sobre la ética de la IA y el uso de datos en la educación y la formación.  32 D I R EC T R I C E S É T I C A S S O B R E E L U S O D E L A I N T E L I G E N C I A A R T I F I C I A L (I A ) Glosario de términos relacionados con la IA y los datos Las palabras asociadas a la IA y al uso de datos pueden resultar desconocidas o extrañas. A continuación figuran los términos más comunes asociados a la IA y al uso de datos, así como la explicación de cómo pueden aplicarse a la educación. Estas explicaciones se han redactado con el objetivo de garantizar que sean accesibles para todos los miembros de la comunidad escolar y no deben considerarse como definiciones técnicas exhaustivas. La Lista de evaluación para una IA fiable (ALTAI)5 y el Glossary of human-centric artificial intelligence6 [«Glosario sobre inteligencia artificial centrada en el ser humano», disponible únicamente en inglés] de la Comisión. Término de IA Significado Cómo puede aplicarse a la educación Proceso o conjunto de normas que deben seguirse Los algoritmos de IA pueden descubrir patrones en los cálculos u otras operaciones de resolución en el rendimiento de los alumnos y pueden ayudar ALGORITMO de problemas, especialmente por un ordenador. a los profesores a optimizar sus estrategias y metodologías de enseñanza para personalizar el aprendizaje y mejorar los resultados. La realidad aumentada es una experiencia La realidad aumentada crea oportunidades para interactiva en la que entornos y objetos reales que los profesores ayuden a los estudiantes a se complementan con modelos 3D generados comprender conceptos abstractos a través de la por ordenador y secuencias animadas que se interacción y la experimentación con materiales REALIDAD muestran como si estuvieran en un entorno real. virtuales. Este entorno de aprendizaje interactivo AUMENTADA (RA) Los entornos de