IA en la Educación Superior

Introducción de ChatGMP en la Educación

• La Inteligencia Artificial (IA) está transformando la educación, integrándose tanto en los planes de estudio como herramienta para facilitar el aprendizaje.
• La IA en la educación busca adaptarse a las necesidades individuales de los estudiantes y actualizar los planes de estudio con tecnologías avanzadas.
• Un desafío es el cambio del aprendizaje tradicional al aprendizaje asistido por IA.
• Se presenta ChatGMP, un chatbot que utiliza un modelo de lenguaje grande (LLM) para simular una entrevista en un curso de máster sobre Buenas Prácticas de Fabricación (BPF).
• El objetivo de ChatGMP es evaluar la capacidad de los estudiantes de formular preguntas adecuadas para determinar si una empresa ficticia cumple con las BPF.

Metodología y Resultados de ChatGMP

• Para evaluar la iniciativa, se comparó el rendimiento de ChatGMP con el de los profesores y la percepción de los estudiantes.
• Los resultados muestran que la información proporcionada por ChatGMP es similar a la de los profesores, permitiendo un aprendizaje comparable.
• Los estudiantes están satisfechos con ChatGMP y lo recomendarían, lo que abre el debate sobre el uso de LLM en la educación, sus oportunidades y limitaciones.
• Educación 4.0 combina digitalización e Industria 4.0, transformando la enseñanza y el aprendizaje.
• Los modelos educativos convencionales presentan desafíos como la falta de adaptación a los diferentes ritmos y estilos de aprendizaje.
• Los LLM (Grandes Modelos Lingüísticos) como ChatGPT se utilizan para diversas aplicaciones, incluyendo la automatización de tareas repetitivas en la educación.

Chatbots en la Educación

• Los profesores exploran la automatización de tareas repetitivas mediante IA para reducir su carga de trabajo y proporcionar una evaluación personalizada.
• El estudio pretende investigar el uso de LLM específicos en la enseñanza superior para incorporar elementos de enseñanza activa, reducir el tiempo dedicado a tareas repetitivas, ofrecer una experiencia interactiva y evaluar la capacidad de los LLM para responder a preguntas abiertas.
• Se presenta ChatGMP, un chatbot basado en un LLM preentrenado introducido en un curso de máster en BPF en la Universidad Técnica de Dinamarca (DTU).
• ChatGMP realiza un ejercicio de auditoría donde los estudiantes hacen preguntas sobre las BPF y el chatbot responde, proporcionando documentación para un informe con conclusiones.

Chatbots Generativos en la Educación

• El chatbot se proporciona a los estudiantes a través de una interfaz gráfica de usuario (GUI) interactiva.
• Se comparan las actuaciones de ChatGMP y los profesores mediante análisis cuantitativos y cualitativos.
• El enfoque se centra en investigaciones sobre chatbots generativos utilizados en la educación y contribuciones publicadas a partir de 2019, utilizando modelos generativos preentrenados.
• Las teorías pedagógicas indican que el aprendizaje diferenciado e individualizado es un método de enseñanza eficaz, lo que lleva a dar prioridad a este enfoque.

Retos y Oportunidades de la Educacion

• Los retos en la educación convencional incluyen diferentes ritmos y estilos de aprendizaje, falta de atención personalizada, la rápida evolución tecnológica, aulas abarrotadas y tareas administrativas que consumen mucho tiempo.
• Los chatbots basados en IA son una herramienta prometedora cada vez más adoptada por los educativos, pero no existe un consenso general sobre su uso.
• ChatGMP muestra un profundo conocimiento específico del dominio, adaptándose al curso al que se aplica, a diferencia de la mayoría de los chatbots reseñados.
• La DTU ofrece un curso en BPF, las directrices de las autoridades de seguridad alimentaria y farmacéutica, que establecen normas para las industrias de producción.

Proceso de Auditoria y ChatGMP

• En la producción farmacéutica, es importante que los procesos estén regulados y que los estudiantes estén bien formados en las normativas.
• Como parte del aprendizaje, los estudiantes deben auditar a "Pharma A/S", representada por profesores, y elaborar un informe evaluado según la capacidad de detectar no conformidades y su adecuación a la legislación.
• La automatización de este proceso beneficiaría tanto a los estudiantes, aumentando la participación anual, como a los profesores, automatizando una tarea repetitiva y consumidora de tiempo.
• Este trabajo presenta el primer ensayo de sustitución del papel del profesor por ChatGMP.
• ChatGMP se evalúa comparando su eficacia con el rendimiento de un profesor al responder a preguntas de auditoría. Se espera que los estudiantes se sientan más comprometidos con la herramienta. Este trabajo presenta el primer ensayo de sustitución del papel del profesor por ChatGMP.
• ChatGMP se evalúa comparando su eficacia con el rendimiento de un profesor al responder a preguntas de auditoría. Se espera que los estudiantes se sientan más comprometidos con la herramienta.

Desarrollo Técnico de ChatGMP

• Desde la adquisición de datos hasta la evaluación y mejora del modelo, ChatGMP presenta aspectos técnicos.
• ChatGMP presenta un back-end y un componente front-end.
• El back-end incluye un conjunto de datos curados y específicos (QUESTIONS y CONTEXT), un modelo preentrenado (FLAN T5), la ingeniería de instrucciones, y el despliegue local utilizando Flask en Python.
• El front-end contiene una interfaz creada en HTML por los autores.
• Los LLM (Modelos de Lenguaje Grande) toman como entrada lenguaje natural (prompts). El aprendizaje en contexto enriquece el prompt para mejorar la calidad de la generación. El modelo realiza una tarea de predicción de la palabra siguiente.

Adquisición y Procesamiento de Datos de ChatGMP

• Para entrenar el modelo de LLM ChatGMP,
• se grabaron videos de ejercicios de auditoría, se extrajo el audio, se aplicó diarización para identificar a los locutores (alumnos y profesores), se convirtió la voz en texto, y se fusionaron pares de preguntas y respuestas.
• Se evaluó y editó manualmente la calidad de los datos, generando un archivo JSON final.
• El conjunto de datos se enriqueció con información extraída de documentos relevantes de los procedimientos generales de BPF y de una plantilla rellenada por los empleados de "Pharma A/S".
• Se solicitó a los alumnos su consentimiento para la recogida de datos, garantizando su anonimización y el cumplimiento de la GDPR.
• Para proteger la privacidad de los alumnos, no se utilizarán las imágenes originales.

Desarrollo del Modelo ChatGMP

• ChatGMP es LLM de respuesta a preguntas basado en un modelo preentrenado, entregado a los estudiantes a través de una interfaz de usuario interactiva.
• El componente LLM, disponible en la biblioteca Hugging Face, se basa en modelos de GC basados en transformadores preentrenados de código abierto.
• Elprompt se compone de una pregunta enriquecida con la respuesta similar más cercana del corpus recuperada mediante una búsqueda semántica de la pregunta de entrada, junto con una respuesta extraída de ejercicios históricos de auditoría.
• Se realizó una ingeniería rápida para restringir la probabilidad de alucinación y mejorar la calidad y exactitud de las respuestas.
• No se afinó el modelo para ahorrar recursos informáticos y permitir correcciones manuales de respuestas.

Despliegue y evaluación del Modelo ChatGMP

• La interfaz de ChatGMP se desarrolló en Python utilizando Flask para su despliegue, con el front-end en HTML. El modelo se desplegó localmente utilizando una única GPU NVIDIA GeForce RTX 2060.
• Evaluado inicialmente, se pidió a los alumnos entregar un documento de preparación para la auditoría con las preguntas que planeaban hacer.
• Expertos y usuarios habituales de ChatGMP evaluaron y corrigieron errores menores del modelo.
• También se añadieron datos adicionales a la base de datos para superar la falta de conocimientos del modelo sobre algunos temas.

Metricas y Resultados de rendimiento

• La puntuación BLEU y la similitud coseno se calcularon para evaluar las respuestas generadas por el LLM, mostrando la relación entre precisión y eficiencia.
• Evaluar un modelo cualitativa y cuantitativamente antes de implantarlo como parte del sistema educativo es necesario.
• Tras las auditorías, se realizaron pruebas estadísticas para evaluar si existe una diferencia significativa entre los alumnos que realizan la auditoría con un profesor y los que la realizan con ChatGMP.
• Se utilizaron estadísticas descriptivas y pruebas no paramétricas (Mann-Whitney y Chi-cuadrado) para analizar los resultados. Estos mostraron que no hay diferencias significativas en la distribución de las respuestas entre los dos grupos.

Resultados Estadísticos y Opiniones de los estudiantes

• Se comparan las distribuciones del grupo que realizó la auditoría con el profesor con las de los otros dos grupos, los alumnos que realizaron la auditoría con ChatGMP respondiendo el 21/03 (D1) y los alumnos que realizaron la auditoría con ChatGMP respondiendo el 02/05 (D2).
• El valor p es superior al nivel de significación (fijado en 0,05), por lo que no se rechaza la hipótesis nula y se concluye que no existe una diferencia significativa. Esto puso de manifiesto que las respuestas de los dos grupos de estudiantes son comparables y no muestran ninguna differencia estadísticamente significativa.
• Para todas las preguntas, el valor p es superior al nivel de significación (fijado en 0,05), por lo que no se rechaza la hipótesis nula y se concluye que no existe una diferencia significativa en la distribución de las respuestas entre los dos grupos.
• Hay concordancia sustancial entre los distintos grupos entrevistados en cuanto a la percepción de la calidad de la capacitación.
• Varios estudiantes encontraron valiosa la capacidad de ChatGMP de participar en el curso.

Experiencia y Sugerencias con CHatGMP

• La herramienta proporciona las mismas directrices para relacionarse con los expertos.
• Al interactuar con ChatGMP, los usuarios son capaces de construir sus propios conocimientos.
• Las valoraciones adicionales sobre la capacitación muestran que la interacción con ChatGMP genera resultados positivos.
• Se analizaron los datos con pruebas no paramétricas, concluyendo que la capacitación resulta en un informe de auditoría altamente estandarizado. Como resultado, los estudiantes tienen una experiencia similar al trabajar como grupo.
• Los alumnos que respondieron después tienden a opinar mejor del chatbot.
• Algunos comentarios indicaron que el evaluado daba las mismas respuestas que en preguntas anteriores, y que a veces, al hacer preguntas sobre diferentes preguntas, sobre diferentes temas, proporcionaba de documentos que ya había dado a la luz al responder a una pregunta de un tema completamente distinto al de la pregunta en cuestión.

Opiniones los Profesores

• En cuanto a la calidad de las respuestas, tanto los grupos de alumnos que realizaron la auditoría con los profesores como con ChatGMP consideraron que algunas respuestas no tenían sentido y no siempre eran satisfactorias para los auditores.
• Por lo tanto, ChatGMP, aunque no era técnicamente perfecto, no empeoró la experiencia de los alumnos, ya que los alumnos del grupo de control sufrieron los mismos problemas.
• Por otra parte, ambos grupos también tuvieron opiniones positivas. El grupo de control destacó la interacción con los profesores y que, en general, fue una buena experiencia real, mientras que el otro grupo afirmó que estaban impresionados y que las respuestas fueron mejores de lo esperado, que les mostraron todos los documentos necesarios, que el chatbot fue de gran ayuda y que las respuestas parecieron reales e informales, lo cual agradecieron.

Reflexiones Finales sobre ChatGMP

• ChatGMP parece ser una herramienta valiosa que puede proporcionar la misma información que la auditoría con profesores de forma mucho más eficiente y económica.
• Todos los profesores están de acuerdo y muy contentos con los buenos resultados obtenidos.
• Se plantean dudas sobre la necesidad de supervisión, y sobre el hecho de que puede que ChatGMP no sea lo suficientemente capaz de realizar los trabajos por cuenta propia.
• La hipótesis del estudio es que los estudiantes que interactuaron con ChatGMP valoran su experiencia de forma similar al grupo de estudiantes que realizan el ejercicio con los profesores.

Perspectivas de Mejora para ChatGMP

• Recomiendan que se incorporen mejoras para que pueda aplicarse de forma plena.
• Muchos usuarios comparten que disfrutan de la experiencia de trabajar con chatbots en tareas de auditoría y para ayudar a dar forma al proceso de pensamiento. Otros apoyan la idea de usar la herramienta en la clase para estos casos.
• De acuerdo con el chatbot es una gran idea es el Chatbot ChatGPT, aunque tiene algunos problemas a la hora de entender la pregunta a un nivel funcional y que también se necesita mejorar el diseño de la formación.
• A pesar de su potencial, la versión actual de ChatGMP no está exenta de inconvenientes, como lagunas en la precisión de sus respuestas y la ocasional generación de desinformación.

Impacto Transformador en la Educación

• Se concluyó que la introducción de una herramienta de capacitaciones basadas en IA podría ser muy valiosa para el curso y podría convertirse en objeto integral de las capacitaciones de auditoría.
• En primer lugar, algunos reconocieron que redujo la carga de trabajo de los profesores y que podría ser una herramienta eficiente que haría posible que todos los grupos realizaran la capacitación de auditoría al mismo tiempo (si se implementa en línea).
• El principal responsable del curso cree que podría funcionar también.
• Todos los años hay gran cantidad de graduados que pueden participar en el grupo y los equipos serían bien compensados.

Habilidades para el Futuro con la IA

• Los responsables políticos ven necesaria la capacidad de realizar consultas, pensamiento crítico y, capacidades de resolución. Además, la sociedad necesita básicos en ia y ser consciente de prejuicios y problemas de privacidad.
• Sería importante hacer capacitaciones muy generales sobre todo a lo referente con los datos, y si todo se está aplicando de forma correctamente.
• Entre ellas se encuentran: capacitar a los estudiantes por parte de los profesores.
• Hay habilidades en los campos emergentes que sin duda tendrán más oportunidades de crecimiento laboral..

Recomendaciones a la Facultad

• Dado el nuevo conjunto de habilidades que necesitan los estudiantes para enfrentar la "revolución de la IA", los profesores deben estar al día y contribuir a incluir estas habilidades en el plan de estudios.
• Hay que establecer cómo se puede llevar a la práctica, soluciones.
• Debería existir alguna infraestructura para desplegar la plataforma en el curso.
• Si la calidad es una preocupación, será necesario tomar precauciones para corregirlos.
• Estos están orientados a ayudar a las partes interesadas a utilizarlo éticamente.

Consideraciones Eticas del ChatBot

• Los modelos de la IA deben utilizarse de forma responsable y deben alinearse con los valores de ética y humanidad, y con las posibles preocupaciones que pueda suscitar el sistema.
• Es esencial que evaluemos los posibles problemas éticos relacionados con la introducción de herramientas basadas en la IA.
• Para que la capacitación resulte y se utilicen bien los chats boots, los estudiantes deben capacitarse.
• Siempre que sea posible, los usuarios deben participar en el desarrollo del sistema.

Limitaciones de ChatGMP

• Este estudio tiene varias limitaciones importantes. Hay pocos participantes de la muestra.
• La disponibilidad limitada de recursos impidió el uso de los LLM más avanzados disponibles.
• La evolución de la base actual de chatbots cambia constantemente.

Conclusiones del Estudio ChatGMP

• La investigación concluye que el uso de ChatGMP puede resultar muy valioso para las cátedras que dan clases que lo ameriten y está encaminado para convertirse en parte integrante las capacitaciones los de estudiantes.
• La plataforma fue considerada un logro, y los maestros estuvieron impresionados con las respuestas. De otra parte, los equipos también expresaron aspectos perfectibles de manera constructiva.
• La naturaleza subjetiva es una gran amenaza para los resultados.

Disponibilidad de Codigo

• Este estudio está comprometido con el conjunto de principios del código abierto.
• Los pares QA extraídos de los documentos de apoyo deben considerarse parte importante, sin duda.