389227spa.pdf

Guía para el uso de IA generativa en educación e investigación La UNESCO: líder mundial en educación La Agenda Mundial de Educación 2030 La educación es la máxima prioridad de la UNESCO En calidad de organización de las Naciones Unidas porque es un derec...

Guía para el uso de IA generativa en educación e investigación La UNESCO: líder mundial en educación La Agenda Mundial de Educación 2030 La educación es la máxima prioridad de la UNESCO En calidad de organización de las Naciones Unidas porque es un derecho humano esencial y la base especializada en educación, la UNESCO ha recibido el para consolidar la paz y el desarrollo sostenible. La encargo de dirigir y coordinar la Agenda de Educación UNESCO es la agencia de las Naciones Unidas 2030. Este programa forma parte de un movimiento especializada en educación. Proporciona un mundial encaminado a erradicar la pobreza mediante la liderazgo a nivel mundial y regional para reforzar el consecución, de aquí a 2030, de 17 Objetivos de desarrollo, la resiliencia y la capacidad de los Desarrollo Sostenible. La educación, fundamental para sistemas educativos nacionales al servicio de todos alcanzar todos estos objetivos, cuenta con su propio los estudiantes. La UNESCO lidera los esfuerzos para objetivo específico, el ODS 4, que se ha propuesto responder a los desafíos mundiales actuales “garantizar una educación inclusiva, equitativa y de mediante un aprendizaje transformador, con un calidad y promover oportunidades de aprendizaje enfoque especial en la igualdad de género y África durante toda la vida para todos”. El Marco de Acción de a través de todas sus acciones. Educación 2030 ofrece orientación para la aplicación de este ambicioso objetivo y sus compromisos. Publicado en 2024 por la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura 7, place de Fontenoy, 75352 París 07 SP, Francia © UNESCO 2024 ISBN: 978-92-3-300221-0 Esta publicación está disponible en acceso abierto bajo la licencia Attribution-ShareAlike 3.0 IGO (CC-BY-SA 3.0 IGO) (http://creativecommons.org/licenses/by-sa/3.0/igo/). Al utilizar el contenido de la presente publicación, los usuarios aceptan las condiciones de utilización del Repositorio UNESCO de acceso abierto (https://www.unesco.org/es/open-access/cc-sa). Las imágenes acompañadas de un asterisco (*) no están cubiertas por la licencia CC-BY-SA y no pueden usarse ni reproducirse sin previa autorización por escrito de sus propietarios. Título original: Guidance for generative AI in education and research Publicado en 2023 por la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura Los términos empleados en esta publicación y la presentación de los datos que en ella aparecen no implican toma alguna de posición de parte de la UNESCO en cuanto al estatuto jurídico de los países, territorios, ciudades o regiones ni respecto de sus autoridades, fronteras o límites. Las ideas y opiniones expresadas en esta obra son las de los autores y no reflejan necesariamente el punto de vista de la UNESCO ni comprometen a la Organización. La traducción de la Guía al español incluyó una revisión técnica por parte del Centro Regional de Estudios para el Desarrollo de la Sociedad de la Información bajo los auspicios de la UNESCO (Cetic.br), del Núcleo de Información y Coordinación del Ponto BR (NIC.br). La traducción fue realizada por Prioridade Consultoria Ltda. La revisión técnica de la traducción al español estuvo a cargo de Ana Laura Martínez Tessore (Cetic.br). Créditos de cubierta: Olexandra Simkina/Shutterstock.com* Diseñado e impreso por la UNESCO Impreso en Francia CLD 2389.23  R E S U M E N Hacia un enfoque centrado en el ser humano en el uso de la IA generativa Las herramientas de IA generativa de acceso público (IAGen) están surgiendo rápidamente, y el lanzamiento de versiones iterativas supera la velocidad de adaptación de los marcos regulatorios nacionales. La falta de regulaciones nacionales sobre IAGen en la mayoría de los países deja desprotegida la privacidad de los datos de los usuarios y a las instituciones educativas, en gran medida, sin preparación para validar las herramientas. La primera orientación global de la UNESCO sobre IAGen en educación apunta a apoyar a los países en la implementación de acciones inmediatas, la planificación de políticas de largo plazo y el desarrollo de capacidades humanas para garantizar una visión de estas nuevas tecnologías centrada en el ser humano. Esta guía presenta una evaluación de los posibles riesgos que la IAGen podría plantear para los valores humanísticos fundamentales que promueven la intervención humana, la inclusión, la equidad, la igualdad de género, la diversidad lingüística y cultural, así como las opiniones y expresiones plurales. Propone pasos clave para que las agencias Mientras que gubernamentales regulen el uso de las herramientas de IAGen, incluyendo la obligación ChatGPT alcanzó los de proteger la privacidad de los datos y considerar un límite de edad para su uso. Establece requisitos para los proveedores de 100 millones IAGen para permitir su uso ético y efectivo en de usuarios activos la educación. mensuales en enero de 2023, La guía destaca la necesidad de que las solo un país publicó instituciones educativas validen la idoneidad ética y pedagógica de los sistemas de IAGen para normativas sobre IAGen la educación. Hace un llamado a la comunidad en julio 2023 internacional para reflexionar sobre sus implicancias a largo plazo en el conocimiento, la enseñanza, el aprendizaje y la evaluación. La publicación ofrece recomendaciones concretas para los formuladores de políticas y las instituciones educativas sobre cómo diseñar el uso de herramientas de IAGen, con el fin de proteger la intervención humana y beneficiar genuinamente a estudiantes, aprendices e investigadores. “Puesto que las guerras nacen en la mente de los hombres y de las mujeres, es en la mente de los hombres y de las mujeres donde deben erigirse los baluartes de la paz“ Guía para el uso de IA generativa en educación e investigación Guía para el uso de IA generativa en educación e investigación Prefacio  Prefacio La inteligencia artificial generativa (IAGen) irrumpió en la escena pública a finales de 2022 con el lanzamiento de ChatGPT, que se convirtió en la aplicación de más rápido crecimiento en la historia. Con el poder de emular las capacidades humanas para generar resultados en formatos como texto, imágenes, videos, música y códigos de software, estas aplicaciones de IAGen han causado sensación. Millones de personas utilizan ahora la IAGen en su vida diaria, y el potencial de adaptar los modelos a aplicaciones de IA de dominios específicos parece ilimitado. Este amplio rango de capacidades de procesamiento de información y de producción de conocimiento tiene, potencialmente, grandes implicancias para la educación, dado que replica el pensamiento de orden superior que constituye la base del aprendizaje humano. Dado que las herramientas de IAGen son cada vez más capaces de automatizar algunos niveles básicos de escritura y creación artística, están obligando a los formuladores de políticas educativas y a las © UNESCO instituciones a reconsiderar el por qué, el qué y el cómo aprendemos. Estas son consideraciones críticas para la educación en esta nueva fase de la era digital. Esta publicación apunta a respaldar la planificación de regulaciones, políticas y el desarrollo de capacidades humanas apropiadas, para garantizar que la IAGen se convierta en una herramienta que realmente beneficie y empodere a docentes, estudiantes e investigadores. Propone pasos clave para que los organismos gubernamentales regulen el uso de la IA generativa. Asimismo, presenta marcos y ejemplos concretos para la formulación de políticas y el diseño instruccional que permitan un uso ético y efectivo de esta tecnología en la educación. Finalmente, hace un llamado a la comunidad internacional para que considere las profundas implicancias, a largo plazo, de la IA generativa en la forma en que entendemos el conocimiento y definimos el contenido, los métodos y los resultados de aprendizaje, así como en la manera en que lo evaluamos y validamos. Con base en la Recomendación sobre la Ética de la Inteligencia Artificial de la UNESCO de 2021, esta guía se fundamenta en un enfoque humanístico de la educación que promueve la intervención humana, la inclusión, la equidad, la igualdad de género, la diversidad cultural y lingüística, así como las opiniones y expresiones plurales. Además, responde al llamado del informe de 2021 de la Comisión Internacional sobre los Futuros de la Educación, Reimaginar juntos nuestros futuros: un nuevo contrato social para la educación, para redefinir nuestra relación con la tecnología, como parte integral de nuestros esfuerzos con el fin de renovar el contrato social de la educación. La IA no debe usurpar los ámbitos propios de la inteligencia humana. Más bien nos invita a reconsiderar nuestras concepciones establecidas del conocimiento y el aprendizaje humano. Es mi esperanza que esta guía nos ayude a redefinir nuevos horizontes para la educación y a fundamentar nuestro pensamiento colectivo y acciones colaborativas que puedan conducir a un futuro de aprendizaje digital centrado en el ser humano para todos. Stefania Giannini, Subdirectora General de Educación de la UNESCO  Guía para el uso de IA generativa en educación e investigación Agradecimientos Agradecimientos Bajo la dirección de Stefania Giannini, Subdirectora de Educación, y la orientación de Sobhi Tawil, Director de la División del Futuro del Aprendizaje y la Innovación de la UNESCO, la redacción de la publicación estuvo a cargo de Fengchun Miao, Jefe de la Unidad de Tecnología e IA en la Educación. Un especial agradecimiento a Wayne Holmes, Profesor Asociado del University College London, que ha colaborado en la redacción de algunas secciones de la publicación. Esta publicación es fruto del esfuerzo colectivo de líderes educativos y de expertos en el campo de la IA y la educación. Se ha beneficiado de las opiniones y contribuciones de muchos expertos, entre ellos: Mutlu Cukurova, profesora del University College London; Colin de la Higuera, Catedrático UNESCO de Tecnologías para la Formación de Profesores con Recursos Educativos Abiertos de la Universidad de Nantes; Shafika Isaacs, investigadora Asociada de la Universidad de Johannesburgo; Natalie Lao, Directora Ejecutiva de la App Inventor Foundation; Qin Ni, Profesor Asociado de la Universidad Normal de Shanghai; Catalina Nicolin, experta en TIC en educación del Centro Europeo de Educación Digital de Rumanía; John Shaw-Taylor, Catedrático UNESCO de IA y Profesor de Estadística Computacional y Aprendizaje Automático del University College London; Kelly Shirohira, Directora Ejecutiva de Jet Education Services; Ki-Sang Song, Profesor de la Universidad Nacional de Educación de Corea; e Ilkka Tuomi, Científico Jefe de Meaning Processing Ltd de Finlandia. Muchos colegas de toda la UNESCO también contribuyeron de diversas maneras, entre ellos: Dafna Feinholz, Jefa de la Sección de Bioética y Ética de Ciencia y Tecnología; Francesc Pedró, Director del Instituto Internacional para la Educación Superior en América Latina y el Caribe; Prateek Sibal, Especialista de Programa, Sección de Políticas Digitales y Transformación Digital; Saurabh Roy, Oficial Superior de Proyectos en la Sección de Desarrollo Docente, División de Políticas y Sistemas de Aprendizaje a lo Largo de la Vida; Benjamin Vergel De Dios, Especialista de Programa en TIC en Educación, Sección de Innovación Educativa y Desarrollo de Habilidades de la Oficina de Bangkok; los colegas de la Entidad de Diversidad de Expresiones Culturales del Sector de Cultura; y Mark West, Especialista de Programa, División de Futuro del Aprendizaje y la Innovación. Merecen también nuestro agradecimiento Glen Hertelendy, Luisa Ferrara y Xianglei Zheng, de la Unidad de Tecnología e Inteligencia Artificial en la Educación, Futuro del Aprendizaje y la Innovación, por coordinar la producción de la publicación. También damos gracias a Jenny Webster por la corrección de estilo y de pruebas del texto, y a Ngoc-Thuy Tran por el diseño del formato. Guía para el uso de IA generativa en educación e investigación Índice  Índice Prefacio........................................................................................................................................................... 2 Agradecimientos........................................................................................................................................... 3 Acrónimos y abreviaturas............................................................................................................................ 6 Introducción................................................................................................................................................... 7 1. ¿Qué es la IA generativa y cómo funciona?......................................................................................... 8 1.1 ¿Qué es la IA generativa?................................................................................................................. 8 1.2 ¿Cómo funciona la IA generativa?.................................................................................................. 8 1.2.1 Cómo funcionan los modelos de IAGen de texto............................................................ 9 1.2.2 Cómo funcionan los modelos de IAGen de imágenes................................................... 11 1.3 Ingeniería de prompts para generar los resultados deseados.................................................. 12 1.4 Surgimiento de EdGPT y sus implicancias...................................................................................13 2. Controversias en torno a la IA generativa y sus implicancias para la educación..................... 14 2.1 Empeoramiento de la pobreza digital......................................................................................... 14 2.2 Superar las adaptaciones regulatorias nacionales.................................................................... 14 2.3 Uso de contenidos sin consentimiento....................................................................................... 15 2.4 Modelos inexplicables utilizados para generar resultados....................................................... 15 2.5 Contenido generado por IA que contamina Internet................................................................ 16 2.6 Falta de comprensión del mundo real......................................................................................... 16 2.7 Reducir la diversidad de opiniones y marginar aún más a las voces ya marginadas............ 17 2.8 Generación de deepfakes más profundos................................................................................... 17 3. Regulación del uso de la IA generativa en la educación................................................................ 18 3.1 Un enfoque centrado en el ser humano para la IA.................................................................. 18 3.2 Pasos para regular la IAGen en la educación.............................................................................. 18 3.3 Regulaciones sobre la IAGen: Elementos clave.......................................................................... 20 3.3.1 Organismos reguladores gubernamentales.................................................................... 20 3.3.2 Proveedores de herramientas de IAGen........................................................................... 22 3.3.3 Usuarios institucionales...................................................................................................... 23 3.3.4 Usuarios individuales.......................................................................................................... 23 4. Hacia un marco de políticas para el uso de la IA generativa en la educación y la investigación......................................................................................................................................... 24 4.1 Promover la inclusión, la equidad y la diversidad lingüística y cultural.................................. 24 4.2 Proteger la acción humana.......................................................................................................... 25 4.3 Monitorear y validar los sistemas de IAGen para la educación................................................ 25 4.4 Desarrollar competencias en IA, incluyendo habilidades de IAGen para los estudiantes........ 26 4  Guía para el uso de IA generativa en educación e investigación Índice 4.5 Desarrollar las capacidades de docentes e investigadores para hacer un uso adecuado de IAGen....................................................................................... 26 4.6 Promover opiniones diversas y la expresión plural de ideas.................................................... 27 4.7 Testear localmente modelos de aplicaciones relevantes y crear una base acumulativa de evidencias.......................................................................................... 27 4.8 Considerar las implicancias a largo plazo, de forma intersectorial e interdisciplinaria......... 28 5. Facilitar el uso creativo de la IAGen en la educación y la investigación..................................... 29 5.1 Estrategias institucionales para facilitar el uso responsable y creativo de la IAGen.............. 29 5.2 Un enfoque de “interacción centrada en el ser humano y pedagógicamente apropiada”.. 30 5.3 Codiseño del uso de la IAGen en la educación y la investigación........................................... 30 5.3.1 IA generativa para la investigación................................................................................... 30 5.3.2 IA generativa para facilitar la enseñanza.......................................................................... 31 5.3.3 IA generativa como entrenador 1:1 para la adquisición autodidacta de habilidades básicas........................................................................................................ 32 5.3.4 IA generativa para facilitar la investigación o el aprendizaje basado en proyectos................................................................................. 34 5.3.5 IA generativa como apoyo a estudiantes con necesidades especiales........................ 35 6. IAGen y el futuro de la educación y la investigación...................................................................... 37 6.1 Cuestiones éticas inexploradas.................................................................................................... 37 6.2 Derechos de autor y propiedad intelectual................................................................................ 37 6.3 Fuentes de contenido y aprendizaje............................................................................................ 37 6.4 Respuestas homogeneizadas frente a resultados diversos y creativos................................... 38 6.5 Replanteamiento de la evaluación y los resultados de aprendizaje........................................ 38 6.6 Procesos de reflexión..................................................................................................................... 39 Conclusiones finales.............................................................................................................................. 39 Referencias.................................................................................................................................................... 40 Lista de tablas Tabla 1. Técnicas usadas en IA generativa.................................................................................................. 8 Tabla 2. GPTs de OpenAI.............................................................................................................................. 9 Tabla 3. Codiseño de usos de la IAGen para la investigación................................................................ 31 Tabla 4. Codiseño de usos de la IAGen como apoyo a docentes y a la enseñanza............................. 32 Tabla 5. Codiseño de usos de la IAGen como entrenador 1:1 para la adquisición autodidacta de habilidades básicas en idiomas y en las artes................................................ 33 Tabla 6. Codiseño de usos de la IAGen para facilitar la investigación o el aprendizaje basado en proyectos..................................................................................................................... 35 Tabla 7. Codiseño de usos de la IAGen para apoyar a estudiantes con necesidades especiales...... 35 5 Guía para el uso de IA generativa en educación e investigación Acrónimos y abreviaturas  Acrónimos y abreviaturas Conceptos y tecnologías AA Aprendizaje automático GB Gigabytes GPT Transformador generativo preentrenado, por sus siglas en inglés IA Inteligencia artificial IAD Inteligencia artificial distribuida IAG Inteligencia artificial general IAGen Inteligencia artificial generativa IPA Interfaz de programación de aplicaciones LaMDA Modelo de lenguaje para aplicaciones de diálogo, por sus siglas en inglés LLM Modelo de lenguaje de gran tamaño, por sus siglas en inglés RNA Red neuronal artificial RGA Red generativa antagónica RGPD Reglamento General de Protección de Datos TIC Tecnología de la información y la comunicación VAE Autocodificadores variacionales, por sus siglas en inglés Organizaciones ACC Administración del Ciberespacio de China AGCC Clúster Gubernamental de IA en la Nube (Singapur) OCDE Organización para la Cooperación y el Desarrollo Económicos UE Unión Europea UNCTAD Conferencia de las Naciones Unidas sobre Comercio y Desarrollo UNESCO Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura 6  Guía para el uso de IA generativa en educación e investigación Introducción Introducción El lanzamiento de ChatGPT a finales de 2022, la primera Esta guía está diseñada para responder a dicha herramienta de inteligencia artificial generativa (IAGen) necesidad urgente. Sin embargo, un conjunto temático de uso sencillo y amplia disponibilidad para el público,1 de orientaciones sobre IAGen para la educación no seguida de versiones iterativamente más sofisticadas, debe entenderse como una afirmación de que sea la provocó una conmoción en todo el mundo y está solución a los desafíos fundamentales de la educación. impulsando una carrera entre las grandes empresas A pesar de la hipérbole mediática, es poco probable tecnológicas para posicionarse en el campo del que la IAGen por sí sola resuelva cualquiera de los desarrollo de modelos de IAGen.2 problemas que enfrentan los sistemas educativos de todo el mundo. Para responder a los problemas En todo el mundo, la preocupación inicial en el educativos de larga data, es clave mantener la idea ámbito educativo era que ChatGPT y herramientas de que la capacidad humana y la acción colectiva, similares de IAGen fueran utilizadas por los estudiantes y no la tecnología, son los factores determinantes para hacer trampa en sus tareas, socavando el valor para encontrar soluciones eficaces a los desafíos de la evaluación del aprendizaje, la certificación y fundamentales enfrentados por las sociedades. las calificaciones (Anders, 2023). Mientras algunas instituciones educativas prohibieron su uso, otras Por ello, esta guía pretende apoyar el planeamiento recibieron cautelosamente la llegada de la IAGen de normativas, políticas y programas de desarrollo (Tlili, 2023). Muchas escuelas y universidades, por de capacidades humanas adecuados, para garantizar ejemplo, adoptaron un acercamiento progresivo con la que la IAGen se convierta en una herramienta que creencia de que, “más que intentar prohibir su uso, los realmente beneficie y empodere docentes, estudiantes estudiantes y el personal necesitan ser apoyados para e investigadores. Basándose en la Recomendación utilizar herramientas de IAGen de forma efectiva, ética sobre la Ética de la Inteligencia Artificial de la UNESCO, y transparente” (Russell Group, 2023). Este enfoque la guía está fundamentada en un enfoque centrado en reconoce la vasta disponibilidad de la IAGen, que el ser humano que promueve la actuación humana, probablemente se volverá cada vez más sofisticada y la inclusión, la equidad, la igualdad de género y la que cuenta con un potencial negativo específico y un diversidad cultural y lingüística, así como las opiniones potencial positivo único para la educación. y expresiones plurales. De hecho, la IAGen tiene infinidad de usos posibles. La guía analiza, en primer lugar, qué es la IAGen y Puede automatizar el tratamiento de la información cómo funciona. Presenta las diversas tecnologías y la presentación de resultados en todas las y modelos disponibles (Sección 1), antes de representaciones simbólicas clave del pensamiento identificar una serie de cuestiones éticas y políticas humano. Permite la entrega de resultados, ofreciendo controversiales en torno tanto a la IA en general como productos de conocimiento semiacabados. Al liberar a a la IAGen en particular (Sección 2). A continuación, los humanos de algunas categorías de habilidades de se analizan los pasos y los elementos clave que deben pensamiento de orden inferior, esta nueva generación examinarse para regular la IAGen desde un enfoque de herramientas de IA podría tener profundas centrado en el ser humano, que garantice un uso implicancias en la forma en que entendemos la ético, seguro, equitativo y significativo (Sección 3). La inteligencia y el aprendizaje humanos. Sección 4 propone medidas que pueden tomarse para desarrollar marcos políticos coherentes e integrales No obstante, la IAGen también plantea múltiples para regular el uso de la IAGen en la educación y la problemas inmediatos relacionados con cuestiones investigación, mientras que la Sección 5 examina las como la seguridad, la privacidad de los datos, los posibilidades de utilizar creativamente la IAGen en derechos de autor y la manipulación. Algunos de el diseño curricular, la enseñanza, el aprendizaje y las ellos son riesgos más amplios relacionados con la actividades de investigación. La Sección 6 concluye la inteligencia artificial que se han visto exacerbados guía con consideraciones en torno a las implicancias por la IAGen, mientras que otros han surgido a largo plazo de la IAGen para la educación y la recientemente con esta última generación de investigación. herramientas. Ahora urge comprender y abordar plenamente cada una de estas cuestiones y preocupaciones. 7 Guía para el uso de IA generativa en educación e investigación 1. ¿Qué es la IA generativa y cómo funciona?  1. ¿Qué es la IA generativa y cómo funciona? 1.1 ¿Qué es la IA generativa? reconoce que “aunque herramientas como ChatGPT pueden generar frecuentemente respuestas que La IA Generativa (IAGen) es una tecnología de suenan razonables, no se puede confiar en que sean inteligencia artificial (IA) que genera contenidos certeras” (OpenAI, 2023). La mayoría de las veces, los de forma automática en respuesta a instrucciones errores pasarán desapercibidos a menos que el usuario escritas en interfaces conversacionales de lenguaje posea sólidos conocimientos sobre el tema en cuestión. natural (prompts). En vez de limitarse a conservar las páginas web existentes, IAGen produce nuevos 1.2 ¿Cómo funciona la IA generativa? contenidos. El contenido puede presentarse en formatos que abarcan todas las representaciones Las tecnologías específicas en las que se basa la simbólicas del pensamiento humano: textos escritos IAGen forman parte de la familia de tecnologías de IA en lenguaje natural, imágenes (incluyendo fotografías, denominada aprendizaje automático (AA), que utiliza pinturas digitales y caricaturas), videos, música y algoritmos que le permiten mejorar de forma continua código de software. La IAGen se entrena utilizando y automática su rendimiento a partir de los datos. El datos obtenidos de páginas web, conversaciones tipo de AA que ha dado lugar a muchos de los avances en redes sociales y otros medios en línea. Genera su en IA que hemos visto en los últimos años, como la contenido analizando estadísticamente la distribución IA de reconocimiento facial, se conoce como redes de palabras, píxeles u otros elementos en los datos neuronales artificiales (RNAs), que se inspiran en el que ha asimilado e identificando y repitiendo funcionamiento del cerebro humano y sus conexiones patrones comunes (por ejemplo, qué palabras siguen sinápticas entre neuronas. Hay muchos tipos de RNAs. habitualmente a cuáles otras). Tanto las tecnologías de IA generativa de texto Aunque la IAGen puede producir nuevos contenidos, como las de imagen, se basan en un conjunto de no puede crear nuevas ideas o soluciones a los retos tecnologías de IA que llevan varios años a disposición del mundo real, ya que no entiende objetos reales ni las de los investigadores.1 ChatGPT, por ejemplo, utiliza relaciones sociales que sustentan el lenguaje. Además, un transformador generativo preentrenado (GPT), a pesar de su fluidez y su impresionante capacidad mientras que la IAGen de imagen suele utilizar lo que de producción, no se puede confiar en la precisión de se conoce como redes generativas antagónicas (RGAs) la IAGen. De hecho, hasta el proveedor de ChatGPT (ver Tabla 1).3 Tabla 1. Técnicas usadas en IA generativa Aprendizaje automático (AA) Un tipo de IA que utiliza datos para mejorar automáticamente su desempeño. Un tipo de AA inspirado en la estructura y funcionamiento del cerebro humano (como las Red neuronal artificial (RNA) conexiones sinápticas entre neuronas). Transformador Un tipo de RNA capaz de hacer foco en diferentes partes de los datos para determinar de propósito general cómo se relacionan entre sí. Modelo de lenguaje de gran Un tipo de transformador de propósito general que es entrenado con vastas cantidades IA generativa tamaño (LLM) de datos textuales. de texto Un tipo de LLM que es preentrenado con cantidades aún mayores de datos, lo cual Transformador generativo permite que el modelo capture los matices del lenguaje y genere textos coherentes en preentrenado (GPT)4 función del contexto. Red generativa antagónica IA generativa (RGA) Tipos de redes neuronales utilizadas para la generación de imágenes. de imágenes Autocodificador variacional (VAE) 8  Guía para el uso de IA generativa en educación e investigación 1. ¿Qué es la IA generativa y cómo funciona? 1.2.1 Cómo funcionan los modelos bien conocida de su progreso continuo es el uso de de IAGen de texto volúmenes cada vez mayores de datos para entrenar su cantidad exponencialmente creciente de “parámetros”. La IA generativa de textos utiliza un tipo de RNA Los parámetros pueden considerarse metafóricamente conocido como transformador de propósito general, como perillas que se ajustan para ajustar el rendimiento y un tipo de transformador de propósito general del GPT. Incluyen los “pesos” del modelo, parámetros llamado modelo de lenguaje de gran tamaño. Por eso, numéricos que determinan la forma en que el modelo los sistemas de IAGen de texto suelen denominarse procesa sus entradas y produce sus resultados. modelos de lenguaje de gran tamaño, o LLM. El tipo de LLM utilizado por la IAGen se conoce como Además de los avances en la optimización de las transformador generativo preentrenado o GPT, por sus arquitecturas de IA y de los métodos de entrenamiento, siglas en inglés (de ahí el “GPT” en “ChatGPT”). esta rápida evolución también ha sido posible gracias a las ingentes cantidades de datos5 y a las mejoras en las ChatGPT está basado en GPT-3, desarrollado por capacidades informáticas disponibles para las grandes OpenAI. Esta fue la tercera evolución de su GPT; la empresas. Desde 2012, las capacidades informáticas primera fue lanzada en 2018 y la más reciente, la utilizadas para entrenar modelos de IAGen se han GPT-4, en marzo de 2023 (ver Tabla 2). Cada GPT de duplicado cada 3-4 meses. Para comparar, la Ley de OpenAI mejoró iterativamente la versión anterior a Moore mencionaba un periodo de duplicación de dos través de avances en arquitecturas de IA, métodos de años (OpenAI, 2018; Universidad de Stanford, 2019). entrenamiento y técnicas de optimización. Una faceta Tabla 2. GPTs de OpenAI Cantidad de Cantidad de Modelo Lanzamiento datos para Características parámetros entrenamiento Capaz de realizar tareas de procesamiento del lenguaje natural, como GPT-1 2018 40 GB 117 millones completar textos y responder preguntas. Capaz de realizar tareas más complejas de procesamiento del lenguaje GPT-2 2019 40 GB 1,500 millones natural, como traducción automática y elaboración de resúmenes. Capaz de realizar tareas avanzadas de procesamiento del lenguaje natural, como escribir párrafos coherentes y generar artículos GPT-3 2020 17,000 GB 175,000 millones completos. También es capaz de adaptarse a nuevas tareas a partir de unos pocos ejemplos. 170,000,000 1,000,000 GB millones Confiabilidad aumentada, capacidad para procesar instrucciones GPT-46 2023 (informado, sin (informado, sin más complejas. confirmación) confirmación) Una vez que el GPT ha sido entrenado, prediseñado de datos de gran tamaño la generación de una respuesta de texto a (que incluye texto extraído de Internet y de un prompt involucra los siguientes pasos: otros sitios). ¾ Utilizando estos patrones, el GPT estima la 1. El prompt es dividido en unidades más probabilidad de que aparezcan palabras pequeñas (llamadas tokens) que son ingresadas o frases específicas en un contexto en el GPT. determinado. 2. El GPT utiliza patrones estadísticos para ¾ Partiendo de una predicción aleatoria, el predecir las posibles palabras o frases que GPT utiliza estas probabilidades estimadas podrían conformar una respuesta coherente al para predecir la siguiente palabra o frase prompt. probable en su respuesta. ¾ El GPT identifica patrones de palabras y 3. Las palabras o frases predichas son convertidas frases que suelen coexistir en su modelo en texto legible. 9 Guía para el uso de IA generativa en educación e investigación 1. ¿Qué es la IA generativa y cómo funciona?  4. El texto legible es filtrado a través de lo que Hugging Chat:11 Creado por Hugging Face, se conoce como “barandillas” (guardrails) para que puso énfasis en la ética y la transparencia eliminar cualquier contenido ofensivo. durante todo su desarrollo, entrenamiento e 5. Los pasos 2 a 4 se repiten hasta que finaliza implementación. Todos los datos utilizados una respuesta. La respuesta se considera para entrenar sus modelos son de código finalizada cuando alcanza un límite máximo de abierto. tokens o cumple con criterios de finalización Jasper:12 Un paquete de herramientas y IPA predefinidos. que, por ejemplo, puede ser entrenado para 6. La respuesta se postprocesa para mejorar su escribir en el estilo particular preferido de un legibilidad aplicando formato, puntuación usuario. También puede generar imágenes. y otras adaptaciones (como empezar la respuesta con palabras que podría utilizar Llama:13 Un LLM de código abierto de Meta un humano, como “Claro”, “Por supuesto” o que requiere menos potencia computacional y “Lo siento”). menos recursos para probar nuevos enfoques, validar el trabajo de otros y explorar nuevos Aunque los GPTs y su capacidad para generar texto casos de uso. automáticamente han estado disponibles para los investigadores desde 2018, el lanzamiento de Open Assistant:14 Un sistema de código ChatGPT fue novedoso por su acceso gratuito a abierto diseñado para que cualquier persona través de una interfaz de uso fácil, lo que significa con conocimientos suficientes pueda que cualquier persona con acceso a Internet podría desarrollar su propio LLM. Ha sido creado a explorar la herramienta. El lanzamiento de ChatGPT partir de datos de entrenamiento recogidos causó conmoción en todo el mundo y rápidamente por voluntarios. impulsó a otras empresas tecnológicas transnacionales Tongyi Qianwen (通义千问):15 Un LLM de a readecuarse al nuevo paradigma, sucediendo lo Alibaba que puede responder a indicaciones mismo con numerosas start-ups. Esto debería llevarse en inglés o chino. Está siendo integrado al a cabo tanto lanzando sistemas similares de desarrollo paquete de herramientas de negocios de propio como creando herramientas basadas en el Alibaba. aprovechamiento del recurso pionero. YouChat:16 Un LLM que incorpora funciones de Hacia julio de 2023, algunas de las alternativas a búsqueda en tiempo real para brindar contexto ChatGPT incluían a las siguientes: y perspectivas adicionales a fin de generar Alpaca:7 Una versión depurada del Llama resultados más precisos y confiables. de Meta, de la Universidad de Stanford, que apunta a abordar la información falsa, los La mayoría son de uso gratuito (dentro de ciertos estereotipos sociales y el lenguaje tóxico de los límites), mientras que algunos son de código abierto. LLM. Se están lanzando muchos otros productos basados en alguno de estos LLM. Ejemplos de ello son los Bard:8 Un LLM de Google, basado en sus siguientes: sistemas LaMDA y PaLM 2, con acceso a Internet en tiempo real, lo cual le permite ChatPDF:17 Resume y responde preguntas ofrecer información actualizada. sobre documentos PDF ingresados. Chatsonic:9 Desarrollado por Writesonic, Elicit: The AI Research Assistant:18 Apunta está basado en ChatGPT y rastrea los datos a automatizar partes de los flujos de trabajo directamente desde Google. En consecuencia, de los investigadores, identificando artículos tiene menos posibilidades de generar relevantes y resumiendo la información clave. respuestas incorrectas. Perplexity:19 Ofrece un “centro de Ernie (conocido también como Wenxin Yiyan conocimiento” para las personas que buscan 文心一言):10 Un LLM bilingüe de Baidu, aún en respuestas rápidas, precisas y personalizadas desarrollo, que integra extensos conocimientos en función de sus necesidades. con conjuntos de datos masivos para generar De manera similar, las herramientas basadas en LLM texto e imágenes. están siendo integradas en otros productos, como los 10  Guía para el uso de IA generativa en educación e investigación 1. ¿Qué es la IA generativa y cómo funciona? navegadores web. Por ejemplo, las extensiones para de música popular (o incluso de música de un mismo Chrome basadas en ChatGPT incluyen las siguientes: artista) puede generar nuevas piezas musicales que respeten la estructura y la complejidad de la música WebChatGPT:20 Permite que ChatGPT acceda original. a Internet para mantener conversaciones más precisas y actualizadas. Desde julio de 2023, los modelos de IAGen de 21 Compose AI: Autocompleta oraciones en imágenes disponibles incluyen a los siguientes, todos correos electrónicos y en otros lugares. los cuales generan imágenes a partir de prompts de texto. La mayoría son de uso libre, dentro de ciertos TeamSmart AI:22 Ofrece un “equipo de límites: asistentes virtuales”. Craiyon:25 Antes conocido como DALL E mini. Wiseone:23 Simplifica la información en línea. DALL E 2:26 Herramienta de IAGen de Por otra parte, ChatGPT ha sido integrado a algunos imágenes de OpenAI. motores de búsqueda,24 y está siendo implementado DreamStudio:27 Herramienta de IAGen de en grandes conjuntos de herramientas de imágenes de Stable Diffusion. productividad (como Microsoft Word y Excel), lo que lo hace aún más accesible en oficinas e instituciones Fotor:28 Integra la IAGen a un conjunto de educativas de todo el mundo (Murphy Kelly, 2023). herramientas de edición de imágenes. Finalmente, como una interesante transición hacia la Midjourney:29 Una herramienta de IAGen de IAGen de imágenes, el GPT más reciente de OpenAI, imágenes independiente. GPT-4, puede aceptar imágenes, además de texto, NightCafe:30 Interfaz entre Stable Diffusion y en sus prompts, por lo que adquiere funciones DALL E 2. multimodales. En consecuencia, hay quienes sostienen que la denominación “modelo de lenguaje de gran Photosonic:31 Generador de arte de IA de tamaño” (LLM) es cada vez menos apropiada, por lo WriteSonic. que investigadores de la Universidad de Stanford han propuesto el término “modelo fundacional” Los siguientes son ejemplos de IAGen de video de fácil (Bommasani et al., 2021). La alternativa no ha sido acceso: plenamente adoptada aún. Elai:32 Puede convertir presentaciones, sitios web y texto en videos. 1.2.2 Cómo funcionan los modelos de IAGen de imágenes GliaCloud:33 Puede generar videos a partir de noticias, publicaciones de redes sociales, Los modelos de IAGen de imágenes y de música eventos deportivos en vivo y datos estadísticos. suelen utilizar otro tipo de RNA conocidas como redes generativas antagónicas (RGAs), que también pueden Pictory:34 Puede crear automáticamente combinarse con autocodificadores variacionales. Las videos cortos a partir de contenidos de gran RGAs constan de dos partes (dos “adversarios”), el tamaño. “generador” y el “discriminador”. En el caso de las RGAs Runway:35 Ofrece un conjunto de herramientas de imágenes, el generador crea una imagen aleatoria para generación y edición de videos (e en respuesta a un prompt, y el discriminador intenta imágenes). distinguir entre la imagen generada y las reales. Posteriormente, el generador utiliza el resultado del Por último, estos son algunos ejemplos de IAGen de discriminador para ajustar sus parámetros y crear otra música de fácil acceso: imagen. El proceso se repite, quizás miles de veces, y Aiva:36 Puede crear automáticamente pistas de el generador crea imágenes cada vez más realistas que música personalizadas. el discriminador distingue progresivamente menos de las reales. Por ejemplo, una RGA entrenado con éxito Boomy,37 Soundraw,38 y Voicemod:39 Pueden generar canciones a partir de textos, sobre un conjunto de datos de miles de fotografías de sin requerir conocimientos de composición paisajes podría generar imágenes de paisajes nuevas, musical. aunque irreales, casi indistinguibles de las reales. Por otra parte, un GAN entrenado en un conjunto de datos 11 Guía para el uso de IA generativa en educación e investigación 1. ¿Qué es la IA generativa y cómo funciona?  1.3 Ingeniería de prompts para Incluir contexto, crucial para generar generar los resultados deseados respuestas relevantes y significativas. Refinar e iterar según sea necesario, Aunque utilizar la IAGen puede ser tan sencillo experimentando con diferentes variaciones. como digitar una pregunta u otro tipo de prompt, la realidad es que aún no es fácil que el usuario Ser ético, evitando prompts que generen obtenga exactamente el resultado deseado. Por contenidos inapropiados, sesgados o dañinos. ejemplo, la innovadora imagen de IA Théâtre D’opéra También es importante reconocer desde ya que no se Spatial, ganadora de un premio en la Feria del Estado puede confiar en los resultados de la IAGen sin realizar de Colorado, Estados Unidos, requirió semanas una evaluación crítica. Como escribe OpenAI acerca de de redacción de prompts y retoques de cientos de su GPT más sofisticado:40 imágenes para generar el resultado final (Roose, 2022). El desafío similar que supone escribir prompts efectivos de IAGen de textos ha hecho que cada vez aparezcan Más allá de sus capacidades, GPT-4 tiene limitaciones más puestos de trabajo de ingeniería de prompts en los similares a las de los GPTs precedentes. Sigue sin ser sitios web de reclutamiento (Popli, 2023). La “ingeniería totalmente confiable (‘alucina’ hechos y comete errores de prompts” hace referencia a los procesos y técnicas de de razonamiento). Se debe tener mucho cuidado al utilizar los composición de entradas para producir un resultado resultados de los modelos lingüísticos, sobre todo en contextos de de IAGen que se aproxime más a la intención original alto nivel, debiéndose seguir un protocolo exacto (como la revisión del usuario. humana, la fundamentación con contexto adicional o evitando los usos de alto nivel) que se corresponda con las necesidades de un La ingeniería de prompts es más exitosa cuando el caso de uso específico.” prompt articula una cadena coherente de razonamiento centrada en un problema particular, o una cadena de pensamiento en un orden lógico. Entre las A la luz de la calidad de los resultados de la IAGen, recomendaciones específicas cabe citar: deberían llevarse a cabo rigurosas pruebas de usuario y evaluaciones de rendimiento antes de validar las Utilizar un lenguaje simple, claro y directo que herramientas para su adopción a gran escala o de pueda entenderse fácilmente, evitando una alto nivel. Tales ejercicios deberían diseñarse con la redacción compleja o ambigua. métrica de rendimiento más relevante en función del tipo de tarea para la que los usuarios piden a Incluir ejemplos que ilustren la respuesta la IAGen que ofrezca resultados. Por ejemplo, para deseada o el formato de las respuestas resolver problemas matemáticos, la “precisión” podría generadas. utilizarse como métrica principal para cuantificar la frecuencia con la que una herramienta de IAGen produce la respuesta correcta; para responder a preguntas delicadas, la métrica principal para medir el rendimiento podría ser la “tasa de respuesta” (la frecuencia con la que la IAGen responde directamente Implicancias para la educación y la investigación a una pregunta); para la generación de código, la métrica podría ser “la fracción de código generado que Aunque la IAGen puede ayudar a que docentes es directamente ejecutable” (si el código generado e investigadores generen textos útiles y otros pudiera ejecutarse directamente en un entorno resultados que respalden su trabajo, no se trata de programación y pasar las pruebas de unidad); y necesariamente de un proceso sencillo. Pueden ser para el razonamiento visual, la métrica podría ser la necesarias varias iteraciones de un prompt antes de “coincidencia exacta” (si los objetos visuales generados obtener el resultado deseado. Es preocupante que coinciden exactamente con la realidad) (Chen et al., los jóvenes estudiantes, al ser por definición menos 2023). expertos que los docentes, puedan aceptar, sin saberlo y sin mayor involucramiento crítico, resultados En resumen, a un nivel superficial, la IAGen es fácil de IAGen superficiales, inexactos o incluso dañinos. de usar; sin embargo, los resultados más sofisticados requieren la intervención de personas calificadas y deben ser evaluados críticamente antes de ser utilizados. 12  Guía para el uso de IA generativa en educación e investigación 1. ¿Qué es la IA generativa y cómo funciona? 1.4 Surgimiento de EdGPT y significativamente, EdGPT podría seguir generando sus implicancias errores y mostrar otras limitaciones. Por ello, sigue siendo importante que los principales usuarios de EdGPT, especialmente docentes y estudiantes, adopten Considerando que los modelos de la IAGen pueden una perspectiva crítica frente a cualquier resultado. servir de base o punto de partida para desarrollar modelos más especializados o específicos de un En la actualidad, el refinamiento de modelos dominio, algunos investigadores han sugerido que fundacionales para un uso más específico del GPT en los GPTs deberían renombrarse como “modelos la educación se encuentra en una fase inicial. Entre los fundacionales” (Bommasani et al., 2021). En la ejemplos existentes se encuentra EduChat, un modelo educación, los desarrolladores e investigadores fundacional desarrollado por la Universidad Normal han empezado a pulir un modelo fundacional para de China Oriental para prestar servicios de enseñanza desarrollar “EdGPT”.41 Los modelos EdGPT se entrenan y aprendizaje, y cuyos códigos, datos y parámetros con datos específicos para fines educativos. En otras son de código abierto.42 Otro ejemplo es MathGPT, palabras, EdGPT pretende refinar el modelo derivado desarrollado por el TAL Education Group, un LLM que de cantidades masivas de datos de entrenamiento se enfoca en la resolución de problemas relacionados generales a cantidades menores de datos educativos con las matemáticas y en dar conferencias para de dominio específico y de alta calidad. usuarios de todo el mundo.43 Esto le da potencialmente a EdGPT un mayor alcance Sin embargo, antes de que sea posible realizar para sustentar el logro de las transformaciones listadas avances significativos, es esencial realizar esfuerzos en la Sección 4.3. Por ejemplo, los modelos EdGPT para perfeccionar los modelos fundacionales, no orientados al codiseño curricular podrían permitir a solo añadiendo conocimientos de las asignaturas docentes y estudiantes generar materiales educativos y eliminando sesgos, sino también agregando apropiados, como planes de clases, cuestionarios y conocimientos sobre métodos de aprendizaje actividades interactivas estrechamente alineados relevantes, y sobre cómo esto puede reflejarse en el con un enfoque pedagógico eficaz y con objetivos diseño de algoritmos y modelos. El desafío reside en curriculares y niveles de desafío específicos para determinar hasta dónde los modelos EdGPT pueden determinados estudiantes. Del mismo modo, en el ir más allá del conocimiento de las asignaturas para contexto de un entrenador de habilidades lingüísticas apuntar también a la pedagogía centrada en el 1:1, un modelo fundacional perfeccionado con textos estudiante y a las interacciones positivas docente- apropiados para un idioma concreto podría utilizarse estudiante. Otro desafío será determinar hasta dónde para generar oraciones, párrafos o conversaciones pueden recogerse y utilizarse éticamente los datos ejemplares para la práctica. Cuando los estudiantes de estudiantes y docentes para alimentar un EdGPT. interactúan con el modelo, éste puede responder con Finalmente, también es necesaria una investigación textos relevantes y gramaticalmente precisos en el robusta que garantice que EdGPT no socave los nivel adecuado para ellos. En teoría, los resultados de derechos humanos de los estudiantes ni desempodere los modelos EdGPT también podrían contener menos a los profesores. sesgos generales o contenidos cuestionables que el GPT estándar, pero, aun así, podrían generar errores. Es fundamental señalar que, a menos que los modelos y el enfoque subyacentes de la IAGen cambien 13 Guía para el uso de IA generativa en educación e investigación 2. Controversias en torno a la IA generativa y sus implicancias para la educación 2. Controversias en torno a la IA generativa y sus implicancias para la educación Luego de haber analizado qué es y cómo funciona la la generación y el procesamiento de datos y, al mismo IAGen, esta sección examina las controversias y los tiempo, intensificó la concentración de la riqueza de la riesgos éticos planteados por todos los sistemas de IA en el Norte Global. Como consecuencia inmediata, IAGen y considera algunas de sus implicancias para las regiones pobres en datos han quedado aún más la educación. excluidas y expuestas a largo plazo al riesgo de ser colonizadas por los estándares integrados en los modelos GPT. Los actuales modelos de ChatGPT están 2.1 Empeoramiento de entrenados con datos de usuarios en línea que reflejan la pobreza digital los valores y normas del Norte Global, lo cual los hace inapropiados para algoritmos de IA localmente Como ha sido señalado, la IAGen depende de inmensas relevantes en comunidades pobres en datos de cantidades de datos y de una enorme potencia muchas partes del Sur Global o en comunidades menos computacional, más allá de sus innovaciones iterativas favorecidas del Norte Global. en arquitecturas de IA y métodos de entrenamiento que, en su mayoría, solo están al alcance de las más grandes empresas tecnológicas internacionales y de unas pocas 2.2 Superar las adaptaciones economías (como Estados Unidos, la República Popular regulatorias nacionales China y, en menor medida, Europa). Esto significa que la posibilidad de crear y controlar la IAGen está fuera Los principales proveedores de IAGen también han del alcance de la mayoría de las compañías y países, sido criticados por no permitir que sus sistemas especialmente los del Sur Global. sean sometidos a revisiones académicas rigurosas e independientes (Dwivedi et al., 2023).44 Las tecnologías Debido a que el acceso a los datos resulta cada vez más fundacionales de la IAGen de una empresa tienden a esencial para el desarrollo económico de los países y protegerse como propiedad intelectual corporativa. para las oportunidades digitales de los individuos, los Mientras tanto, muchas de las empresas que están países y personas que no tienen acceso o no pueden empezando a utilizar la IAGen encuentran cada vez más permitirse suficientes datos quedan en una situación dificultades para mantener la seguridad de sus sistemas de “pobreza de datos” (Marwala, 2023). La situación es (Lin, 2023). Además, a pesar de los llamamientos a la similar en cuanto al acceso a la potencia computacional. regulación por parte de la propia industria de la IA,45 La rápida penetración de la IAGen en países y regiones la creación de legislación sobre elaboración y uso de tecnológicamente avanzados aceleró exponencialmente todo tipo de IA, incluida la IAGen, suele ir detrás de su rápido ritmo de desarrollo. Esto explica parcialmente los desafíos experimentados por los organismos nacionales o locales para comprender y regular las cuestiones jurídicas y éticas.46 Implicancias para la educación y la investigación Si bien la IAGen puede aumentar las capacidades Los investigadores, los docentes y los estudiantes humanas para realizar determinadas tareas, el control deberían adoptar una visión crítica de las democrático de las empresas promotoras de la IAGen orientaciones de valor, las normas culturales y las es limitado. Esto plantea la cuestión de la regulación, costumbres sociales integradas a los modelos de en particular con respecto al acceso y uso de datos entrenamiento de la IAGen. Los formuladores de domésticos, incluidos los de instituciones e individuos políticas deberían tomar conciencia del agravamiento locales, así como los datos generados en los territorios de las desigualdades causadas por la creciente brecha nacionales. Se necesita una legislación adecuada para en el entrenamiento y control de los modelos de que los organismos gubernamentales locales puedan IAGen, y adoptar medidas al respecto. obtener cierto control sobre las crecientes oleadas de IAGen a efectos de garantizar su gobernanza como bien público. 14  Guía para el uso de IA generativa en educación e investigación 2. Controversias en torno a la IA generativa y sus implicancias para la educación 2.4 Modelos inexplicables utilizados para generar resultados Implicancias para la educación y la investigación Hace tiempo se sabe que las redes neuronales artificiales (RNAs) suelen ser “cajas negras”, es decir, Los investigadores, docentes y estudiantes deben ser que su funcionamiento interno no está abierto a conscientes de la falta de regulaciones adecuadas para la inspección. En consecuencia, las RNAs no son proteger la propiedad de las instituciones nacionales “transparentes” ni “explicables”, y no es posible e individuos y los derechos de los usuarios domésticos establecer cómo obtienen sus resultados. de la IAGen, así como para responder a las cuestiones legales que esta genera. Mientras que el enfoque general, incluidos los algoritmos utilizados, es en su conjunto explicable, los modelos particulares y sus parámetros, incluidos los 2.3 Uso de contenidos sin pesos del modelo, no son inspeccionables, razón por consentimiento la cual no se puede explicar un resultado específico generado. En un modelo como el GPT-4 hay miles de Como se ha señalado, los modelos de IAGen millones de parámetros/pesos (ver Tabla 2) y son los se construyen a partir de grandes cantidades pesos en su conjunto los que almacenan los patrones de datos (tales como texto, sonidos, código e aprendidos que el modelo utiliza para generar sus imágenes) frecuentemente obtenidos de Internet y, resultados. Como los parámetros/pesos no son habitualmente, sin permiso de ningún propietario. transparentes en las RNAs (Tabla 1), no es posible Muchos sistemas de IAGen de imágenes y algunos explicar la forma precisa en que estos modelos generan de código han sido, en consecuencia, acusados de un resultado en particular. violar derechos de propiedad intelectual. A la fecha de redacción de estas líneas, existen varias demandas La falta de transparencia y explicabilidad de la IAGen internacionales en curso en relación con la cuestión. es cada vez más problemática a medida que esta se vuelve más compleja (ver Tabla 2). Esto produce Además, se ha señalado que los GPTs pueden frecuentemente resultados inesperados o no deseados. contravenir leyes como el Reglamento General de Por otra parte, los modelos de IAGen heredan y Protección de Datos de la Unión Europea (2016) o perpetúan los sesgos existentes en sus datos de GDPR, especialmente el derecho de las personas a ser entrenamiento que, dada la falta de transparencia de los olvidadas, dado que actualmente es imposible eliminar modelos, son difíciles de detectar y abordar. Finalmente, los datos de alguien (o los resultados de esos datos) de esta opacidad es también una razón clave de los un modelo GPT una vez que ha sido entrenado. problemas de confianza en torno a la IAGen (Nazaretsky et al., 2022a). Si los usuarios no entienden de qué modo Implicancias para la educación y la investigación Implicancias para la educación y la investigación Los investigadores, docentes y estudiantes deben Los investigadores, docentes y estudiantes deben ser conocer los derechos de los propietarios de los datos conscientes de que los sistemas de IAGen funcionan y comprobar si las herramientas de IAGen que utilizan como cajas negras y que, en consecuencia, es difícil, contravienen la normativa vigente. si no imposible, saber por qué han sido creados determinados contenidos. La falta de explicación de Los investigadores, docentes y estudiantes también cómo se generan los resultados tiende a encerrar a deben ser conscientes de que las imágenes o códigos los usuarios en la lógica definida por los parámetros creados con IAGen pueden violar derechos de diseñados en los sistemas de IAGen. Estos parámetros propiedad intelectual ajenos, y que las imágenes, pueden reflejar valores y normas culturales o sonidos o códigos que crean y comparten en Internet comerciales específicos que sesgan implícitamente los pueden ser explotados por otras IAGen. contenidos producidos. 15 Guía para el uso de IA generativa en educación e investigación 2. Controversias en torno a la IA generativa y sus implicancias para la educación un sistema de IAGen ha llegado a un resultado en 2.6 Falta de comprensión concreto, es menos probable que estén dispuestos a del mundo real adoptarlo o utilizarlo (Nazaretsky et al., 2022b). A los GPTs de texto a veces se les denomina peyorativamente “loros estocásticos” porque, como se 2.5 Contenido generado por IA ha señalado antes, aunque pueden producir textos que que contamina Internet parecen convincentes, ese texto suele contener errores y puede incluir afirmaciones dañinas (Bender et al., Dado que los datos de entrenamiento de los GPTs 2021). Esto ocurre porque los GPT solo repiten patrones suelen extraerse de Internet, que con mucha frecuencia lingüísticos hallados en sus datos de entrenamiento incluye lenguaje discriminatorio u otros tipos de (normalmente texto obtenido de Internet), empezando lenguaje inaceptable, los desarrolladores han debido por patrones aleatorios (o “estocásticos”), y sin implementar lo que ellos denominan “barandillas” para comprender su significado, del mismo modo que un evitar que los resultados de los GPTs sean ofensivos loro puede imitar sonidos sin comprender realmente lo y/o antiéticos. Sin embargo, debido a la ausencia de que dice. una normativa estricta y de mecanismos de control eficaces, los materiales sesgados generados por La desconexión entre los modelos de IAGen que la IAGen se extienden cada vez más por Internet, “parecen” comprender el texto que utilizan y generan, contaminando una de las principales fuentes de y la “realidad” de que no comprenden el lenguaje ni el contenidos o conocimientos para la mayoría de los mundo real, puede llevar a profesores y estudiantes estudiantes de todo el mundo. Esto es especialmente a depositar en el resultado un nivel de confianza importante porque el material generado por la IAGen injustificado. Esto plantea graves riesgos para el futuro puede parecer bastante preciso y convincente, cuando de la educación. De hecho, la IAGen no está informada a menudo contiene errores e ideas sesgadas. Esto de observaciones del mundo real ni de otros aspectos supone un alto riesgo para los jóvenes estudiantes clave del método científico, ni tampoco está alineada que carecen de conocimientos previos sólidos sobre el con valores humanos o sociales. Por estas razones, no tema en cuestión. También supone un riesgo recursivo puede generar contenidos realmente novedosos sobre para los futuros modelos GPT que serán entrenados el mundo real, los objetos y sus relaciones, las personas con textos obtenidos de Internet que los propios y las relaciones sociales, las relaciones humano-objeto modelos GPT han creado y que también incluyen sus o las relaciones humano-tecnología. No está claro que sesgos y errores. los contenidos aparentemente novedosos generados por los modelos de IAGen puedan ser reconocidos como conocimientos científicos. Como ya se ha indicado, los GPT pueden producir con frecuencia textos inexactos o poco confiables. De Implicancias para la educación y la investigación hecho, es bien sabido que los GPTs inventan algunas Los investigadores, docentes y estudiantes deben cosas que no existen en la vida real. Algunos llaman a ser conscientes de que los sistemas de IAGen pueden esto “alucinación”, aunque otros critican el uso de un generar material ofensivo y antiético. término tan antropomórfico y, por lo tanto, engañoso. Esto lo reconocen las empresas que producen IAGen. También deben conocer los problemas a largo En la parte inferior de la interfaz pública de ChatGPT, plazo que pueden surgir para la confiabilidad del por ejemplo, se afirma: “ChatGPT puede producir conocimiento cuando los modelos GPT futuros estén información inexacta sobre personas, lugares o basados en textos generados por modelos GPT hechos”.2 anteriores. Algunos defensores también han sugerido que la IAGen representa un paso importante en el camino hacia la inteligencia artificial general (IAG), término que sugiere una clase de IA más inteligente que los humanos. Sin embargo, esto ha sido criticado durante largo tiempo, con el argumento de que la IA nunca progresará hacia la IAG, al menos hasta que, de alguna manera, combine en simbiosis a la IA basada en el conocimiento (también conocida como IA simbólica 16  Guía para el uso de IA generativa en educación e investigación 2. Controversias en torno a la IA generativa y sus implicancias para la educación o basada en reglas) y a la IA basada en datos (también conocida como aprendizaje automático) (Marcus, 2022). Las afirmaciones sobre la IAG o la sintiencia Implicancias para la educación y la investigación también nos distraen de una consideración más Mientras que los desarrolladores y proveedores de cuidadosa sobre los daños que actualmente se están modelos IAGen tienen la responsabilidad principal de provocando con la IA, como la discriminación oculta abordar continuamente los sesgos en los conjuntos contra grupos ya discriminados (Metz, 2021). de datos y los resultados de estos modelos, los investigadores, docentes y estudiantes como usuarios necesitan saber que los resultados de la IAGen de texto representan solo la visión más común o dominante del mundo al momento de producir sus Implicancias para la educación y la investigación datos de entrenamiento y que algunos de estos datos son problemáticos o sesgados (por ejemplo, los roles El resultado de una IAGen de texto puede parecer de género estereotipados). impresionantemente humano, como si entendiera el texto que ha generado. Sin embargo, la IAGen no Los estudiantes, docentes e investigadores nunca entiende nada. En vez de eso, estas herramientas deberían aceptar la información proporcionada por encadenan palabras de maneras que son habituales la IAGen al pie de la letra, sino evaluarla siempre de en Internet. El texto generado también puede ser forma crítica. incorrecto. Los investigadores, docentes y estudiantes también Los investigadores, docentes y estudiantes deben deben ser conscientes del modo en que las voces ser conscientes de que un GPT no comprende el texto minoritarias pueden verse excluidas, ya que estas que genera; que puede generar, y a menudo lo hace, son, por definición, menos frecuentes en los datos de enunciados incorrectos; y que, por lo tanto, es preciso entrenamiento. adoptar un enfoque crítico ante todo lo que sea generado. 2.8 Generación de deepfakes más profundos 2.7 Reducir la diversidad de opiniones y marginar aún más a las voces ya Más allá de las controversias comunes a todas las marginadas IAGen, la tecnología RGA puede utilizarse para alterar o manipular imágenes o vídeos preexistentes a fin de generar otros falsos, difíciles de distinguir de los reales. ChatGPT y otras herramientas similares tienden a La IAGen está facilitando cada vez más la creación de producir solo respuestas estándar que asumen los estos deepfakes y de las llamadas fake news, o noticias valores de los propietarios/creadores de los datos falsas. En otras palabras, la IAGen está facilitando utilizados para entrenar los modelos. De hecho, si una que determinados actores cometan actos antiéticos, secuencia de palabras aparece con frecuencia en los inmorales y delictivos, como difundir desinformación, datos de entrenamiento -como es el caso de asuntos promover discursos de odio e incorporar rostros de comunes y no controversiales y creencias dominantes- personas sin su conocimiento ni consentimiento, es probable que el GPT la repita en sus resultados. en materiales audiovisuales totalmente falsos y en ocasiones comprometedores. Se corre así el riesgo de limitar y socavar el desarrollo de opiniones y expresiones de ideas plurales. Las poblaciones con pobreza de datos, incluidas las comunidades marginadas del Norte Global, tienen una mínima o limitada presencia digital en línea. Así pues, sus voces no llegan a hacerse oír y sus preocupaciones Implicancias para la educación y la investigación no están representadas en los datos utilizados para entrenar a los GPT, de modo que raramente están Aunque es obligación de los proveedores de IAGen presentes en los resultados. Por estas razones, dada la proteger los derechos de autor y de imagen de los metodología de preentrenamiento basada en datos usuarios, los investigadores, docentes y estudiantes de páginas web de Internet y conversaciones en redes también deben ser conscientes de que cualquier sociales, los modelos de GPT pueden marginalizar aún imagen que compartan en Internet puede ser más a personas ya de por sí en desventaja. integrada en los datos de entrenamiento de la IAGen y podría ser manipulada y utilizada de forma antiética. 17 Guía para el uso de IA generativa en educación e investigación 3. Regulación del uso de la IA generativa en la educación 3. Regulación del uso de la IA generativa en la educación Con el fin de abordar las controversias en torno Inteligencia artificial y educación: Guía para las personas a la IA generativa y aprovechar sus potenciales a cargo de formular políticas (UNESCO, 2022b) refina ventajas en la educación, es preciso, en primer aún más las implicancias de un enfoque centrado en lugar, regularla. La regulación de la IAGen con fines el ser humano al momento de examinar los beneficios educativos requiere una serie de pasos y medidas de y riesgos de la IA en la educación y el papel de esta política fundamentadas en un enfoque centrado en última como medio para desarrollar competencias el ser humano, para garantizar su uso ético, seguro, de IA. Propone recomendaciones concretas para la equitativo y significativo. formulación de políticas que orienten el uso de la IA a fin de (i) permitir el acceso inclusivo a los programas de aprendizaje, especialmente para grupos vulnerables 3.1 Un enfoque centrado en como los estudiantes con discapacidad; (ii) apoyar las el ser humano para la IA opciones de aprendizaje personalizadas y abiertas; (iii) mejorar la provisión y la gestión basadas en datos para La Recomendación sobre la Ética de la Inteligencia ampliar el acceso y mejorar la calidad del aprendizaje; Artificial (UNESCO, 2021) ofrece el marco normativo (iv) monitorear los procesos de aprendizaje y alertar necesario para comenzar a abordar las múltiples a los docentes sobre los riesgos de fracaso; y (v) controversias en torno a la IA generativa, incluyendo desarrollar la comprensión y las habilidades para el uso a las que atañen a la educación y la investigación. ético y significativo de la IA. Está basada en un enfoque de la IA centrado en el ser humano que defiende que el uso de la IA esté al servicio del desarrollo de las capacidades humanas 3.2 Pasos para regular la IAGen en para un futuro inclusivo, justo y sostenible. Este la educación enfoque debe estar orientado por los principios de los derechos humanos y la necesidad de proteger la Antes del lanzamiento de ChatGPT, los gobiernos dignidad de las personas y la diversidad cultural que habían estado desarrollando o adaptando marcos define el patrimonio común del conocimiento. En para regular la recolección y el uso de datos, así como términos de gobernanza, un enfoque centrado en el ser la adopción de sistemas de IA en todos los sectores, humano requiere una regulación apropiada que pueda incluyendo la educación, lo que propició un contexto asegurar la intervención humana, la transparencia y la legislativo y de políticas para regular las nuevas rendición pública de cuentas. aplicaciones de IA que surgían. Tras el lanzamiento de múltiples modelos competitivos de IAGen desde El Consenso de Beijing sobre la Inteligencia Artificial (IA) noviembre de 2022, los gobiernos han venido y la Educación (2019) ahonda en lo que implica un adoptando diferentes respuestas en sus políticas: enfoque centrado en el ser humano para el uso de la desde la prohibición de la IAGen hasta la evaluación de IA en el contexto de la educación. El Consenso afirma necesidades de adaptación de los marcos existentes que el uso de las tecnologías de IA en la educación para formular urgentemente nuevas regulaciones. debería mejorar las capacidades humanas para el desarrollo sostenible y la colaboración eficaz entre En abril de 2023 se mapearon y revisaron las estrategias humanos y máquinas en la vida, el aprendizaje y el gubernamentales para regular y facilitar el uso trabajo. También reclama adoptar nuevas medidas que creativo de la IAGen (UNESCO, 2023b).47 La revisión garanticen un acceso equitativo a la IA para apoyar a sugiere una lista de siete pasos que los organismos las personas marginadas y abordar las desigualdades, gubernamentales pueden dar para regular la IA a la vez que se promueven las diversidades lingüísticas generativa y reafirmar el control público a efectos de y culturales. El Consenso sugiere adoptar enfoques aprovechar su potencial en todos los sectores, incluido integrales, intersectoriales y de múltiples partes el educativo. interesadas para la planificación de políticas sobre IA en la educación. 18  Guía para el uso de IA generativa en educación e investigación 3. Regulación del uso de la IA generativa en la educación Paso 1: Adscribirse a regulaciones generales Es fundamental que los países revisen las estrategias de protección de datos internacionales o nacionales de IA existentes, o las desarrollen, regionales, o desarrollar normativas nacionales asegurando disposiciones que regulen el uso ético de la IA en todos los sectores, incluida la educación. El entrenamiento de los modelos de IAGen ha implicado la recolección y el tratamiento de datos Paso 3: Consolidar e implementar normativas en línea de ciudadanos de muchos países. El uso de específicas sobre la ética de la IA datos y contenidos sin consentimiento por parte de los modelos de IAGen está poniendo aún más en peligro la Para abordar las dimensiones éticas que plantea el uso cuestión de la protección de datos. de la IA, se requiere una normativa específica. La normativa general de protección de datos, de la La revisión de estrategias nacionales de IA realizada cual el GDPR de la UE promulgado en 2018 es uno por la UNESCO en 2023 indica que la identificación de de los ejemplos precursores, aporta el marco legal estas cuestiones éticas y la formulación de principios necesario para regular la recolección y el tratamiento orientadores solo es común a unas 40 estrategias de datos personales por parte de los desarrolladores nacionales de IA.50 E, incluso en estos casos, los de IAGen. Según el portal Data Protection and Privacy principios éticos deberán traducirse en leyes o Legislation Worldwide de la Conferencia de las Naciones reglamentos de cumplimiento obligatorio. Rara vez Unidas sobre Comercio y Desarrollo (UNCTAD), 137 ocurre algo así. De hecho, solo unos 20 países han de 194 países han establecido una legislación para definido normativas claras sobre la ética de la IA, salvaguardar la protección de datos y la privacidad.48 incluyendo su relación con la educación, sea como parte de las estrategias nacionales de IA o de otro No obstante, sigue sin quedar claro hasta qué punto modo. Resulta interesante que, aunque la educación estos marcos están siendo aplicados en dichos países. se destaca como un dominio político en unas 45 Por ello, es cada vez más importante garantizar su estrategias nacionales de IA,51 las referencias a la correcta aplicación, incluido el monitoreo regular