Evaluación de la Usabilidad de un Objeto de Aprendizaje por Estudiantes PDF

Evaluación de la usabilidad de un Objeto de Aprendizaje por estudiantes [pág. 65-76] Evaluación de la usabilidad de un Objeto de Aprendizaje por estudiantes Stella Maris Massa1,Patricia Pesado2 1 UNMDP, Mar del Plata, Argentina 2 UNL...

Evaluación de la usabilidad de un Objeto de Aprendizaje por estudiantes [pág. 65-76] Evaluación de la usabilidad de un Objeto de Aprendizaje por estudiantes Stella Maris Massa1,Patricia Pesado2 1 UNMDP, Mar del Plata, Argentina 2 UNLP, La Plata,Argentina Resumen pedagogical purpose, criteria should relate primarily the user, the content and specific goals. La discusión acerca de la calidad de un Objeto de This paper presents a proposal for evaluation from the Aprendizaje (OA) ha tenido diversos enfoques a lo largo perspective of end users: students. Although it could be del tiempo relacionadas con la concepción y definición a LO positively assessed by experts, is intended to que se ha asumido. define many issues about its valuation such as difficulty in understanding, if the LO has elements that facilitate Considerando a un OA como un recurso digital Web, se learning among others. To do this, we built a podrían rescatar criterios de evaluación de calidad de satisfaction questionnaire that integrates pedagogical sitios Web. Como objeto pedagógico, los criterios and technical dimensions. The results of its deberían referirse principalmente al destinatario, al implementation were combined with analysis of self contenido y los objetivos específicos. reporting logs captured in a virtual teaching and Este trabajo presenta una propuesta de evaluación desde learning environment (VLE) after the interaction from la perspectiva de los usuarios finales: los estudiantes. A each of students with LO. pesar de que un OA pudo ser calificado positivamente Finally we present the application of this methodology por expertos que realizaron evaluaciones previas, se to a LO for initial programming course. pretende definir muchas cuestiones acerca de su valoración como dificultades en su comprensión o si el Keywords: Learning object, usability, evaluation, OA posee elementos que facilitan el aprendizaje entre indicators. otras. Para ello, se construyó un cuestionario de satisfacción que integra las dimensiones pedagógica y técnica. Los resultados de su implementación se 1. Introducción combinaron con el análisis de los registros de Logs capturados en un Entorno virtual de enseñanza Existen numerosas definiciones de los OAs que han aprendizaje (EVEA) luego de la interacción de cada uno generado diversas controversias en el campo. En este de los estudiantes con el OA. trabajo, adoptamos la siguiente: Finalmente se presenta la aplicación de esta “la mínima estructura independiente que metodología a un OA para un curso de programación contiene un objetivo, un contenido, una actividad inicial o algoritmia. de aprendizaje, un metadato y un mecanismo de evaluación, el cual puede ser desarrollado con Palabras clave: Objeto de aprendizaje, usabilidad, tecnologías de infocomunicación (TIC) de evaluación, indicadores. manera de posibilitar su reutilización, interoperabilidad, accesibilidad y duración en el Abstract tiempo” Dicha definición aporta el marco conceptual para el The discussion about the quality of Learning Object desarrollo y evaluación de los OAs. (LO) has had various approaches over time related to the conception and definition it has been assumed. La Interacción Persona-Ordenador (IPO) es una disciplina relacionada con el diseño, implementación y Considering a LO as a digital Web resource, could evaluación de sistemas informáticos interactivos para rescue assessment criteria as Web sites. As a Revista Iberoamericana de Educación en Tecnología y Tecnología en Educación N°8 | ISSN 1850-9959| Diciembre 2012 Red de Universidades Nacionales con Carrera en Informática – Universidad Nacional de La Plata (RedUNCI – UNLP) 65 Evaluación de la usabilidad de un Objeto de Aprendizaje por estudiantes [pág. 65-76] uso de seres humanos y con el estudio de los fenómenos afirman que si los primeros cuatro requisitos no se más importantes con los que están relacionados. cumplen, los usuarios no podrán disfrutar de trabajar con el sistema. La satisfacción está estrechamente Puesto que los OA, se consideran sistemas interactivos, relacionada con los cuatro primeros atributos de la coincidimos con en cuanto a que deberían diseñarse usabilidad. también considerando los conceptos y metodologías propios de la IPO. Se basa en un Proceso de Diseño Desde la perspectiva de la IPO, señala que el Centrado en el Usuario (DCU) en las que el usuario proceso de aseguramiento de la calidad debería estar tiene un grado de implicación en todos los puntos del compuesto por tres diferentes niveles : uno en el desarrollo del sistema. proceso mismo del desarrollo, que corresponde a una concepción de la calidad más ligada al desarrollo de El DCU se caracteriza por asumir que todo el proceso software, el segundo mediante la valoración de los de diseño y desarrollo debe estar conducido por el materiales por comunidades profesionales (expertos en usuario, sus necesidades, características y objetivos. contenido, pedagogos, diseñadores gráficos e ingenieros Centrar el diseño en los usuarios implica involucrar de sistemas, entre otros) , tiene que ver más con una desde el comienzo a los usuarios en el proceso de concepción multidisciplinar de la calidad y el tercero desarrollo del sitio; conocer cómo son, qué necesitan, corresponde a los usuarios finales de los OA, valoración para qué usan el sitio; testar el sitio con los propios desde la pertinencia y las posibilidades reales de uso usuarios; investigar cómo reaccionan ante el diseño, que encuentren. cómo es su experiencia de uso; e innovar siempre con el objetivo claro de mejorar la experiencia del usuario. Este artículo se focaliza en el tercer nivel de evaluación del OA a través de dos mecanismos: un cuestionario de Coincidimos con en cuanto a que la usabilidad es la satisfacción de estudiantes y la captura de los registros cualidad de los productos que se pretende obtener (almacenados en el EVEA) de las acciones de cada mediante el DCU; es decir, el objetivo principal del estudiante que interactuó con el OA. DCU es obtener productos más usables. Este proceso forma parte de una Metodología de El término usabilidad se define en la norma ISO 9241- desarrollo y evaluación de OA: el Modelo de Proceso 11 como “el grado en el que un producto puede ser para el desarrollo de Objetos de aprendizaje (MPOBA) utilizado por usuarios especificados para conseguir cuya descripción fue presentada en y. objetivos concretos con efectividad, eficiencia y satisfacción, en un determinado contexto de uso”. La norma ISO 9241-11 explica cómo identificar la 2. La evaluación de usabilidad de un información que se necesita considerar en el momento OA de especificar o evaluar la usabilidad en términos de medidas de funcionamiento y de satisfacción del Los métodos de evaluación de usabilidad pueden usuario. clasificarse de acuerdo a la forma de trabajo del método Por otra parte, ya en 1993, Nielsen , definió los cinco en dos categorías: analíticos y empíricos. atributos básicos de la usabilidad: Los métodos analíticos son realizados por expertos en  Facilidad de aprendizaje: rapidez con que un usuario usabilidad que se ponen en la posición de usuarios. aprende a utilizar un sistema con el que no ha tenido Estos procedimientos son los más adecuados para las contacto anteriormente (que lo haga de forma evaluaciones preliminares durante la fase de desarrollo sencilla, rápida e intuitiva). del sistema. Los métodos de inspección como “Evaluación heurística”, “Recorrido cognitivo”, son  Eficiencia: que el usuario pueda alcanzar un alto ejemplos de esta categoría. nivel de productividad al saber usar un sistema. Los métodos empíricos requieren de pruebas con  Retención en el tiempo: que el usuario recuerde usuarios. Se componen principalmente de test de fácilmente cómo se utilizaba el sistema si deja de usabilidad y cuestionarios. Suelen emplearse tanto con emplearlo por un tiempo. un prototipo o con el sistema ya en uso. Su objetivo es  Tasas de error de los usuarios: se refiere a la determinar la utilidad global del sistema. cantidad y gravedad de errores que comete el Los métodos analíticos no deben reemplazar a los usuario. Al cometer un fallo, el sistema debe métodos empíricos y viceversa, sino que deben informar al usuario y ayudarle a solventarlo. complementarse para llega a una evaluación holística.  Satisfacción subjetiva: hace referencia a si los Esa visión integral de la evaluación, es manifestada por usuarios se sienten cómodos y satisfechos utilizando para recursos educativos en un sitio Web. Este el sistema, es decir, si les gusta o no (impresión autor propone combinar las nociones clásicas de subjetiva). usabilidad y de los procesos de enseñanza y de 66 TE&ET N°8| Diciembre 2012| ISSN 1850-9959| RedUNCI-UNLP  Evaluación de la usabilidad de un Objeto de Aprendizaje por estudiantes [pág. 65-76] aprendizaje, dado que un recurso de esta naturaleza no un software, la música, un video, etc.) pueden funcionar sólo debe ser “usable” en su diseño pues es como agentes de desarrollo. determinante su valor pedagógico. Desde esa perspectiva, tomamos la expresión acuñada Otros autores coinciden en esta idea, señalando que un por Bruner , “amplificadores de la mente” para recurso educativo en un sitio Web puede ser muy válido hacer referencia al software diseñado bajo los desde la perspectiva de la usabilidad técnica, pero puede parámetros de usabilidad ya que en palabras de no tener ningún valor pedagógico, y a la inversa [12, Velázquez y Sosa : “La fuerza del potencial 13,14] cognitivo radica en que la usabilidad exige que los sistemas se adapten a los usuarios y no a la inversa” y Además, hace hincapié en la necesidad de que los en el caso de los OA estos usuarios son estudiantes y profesionales de IPO tengan en cuenta los avances de consecuentemente tienen un objetivo principal y las teorías del aprendizaje y los especialistas en concreto: aprender. tecnología educativa en la usabilidad. "Los profesionales de IPO y de las áreas 2.2. Instrumento CUSEOA (cuestionario de de tecnología educativa rara vez hablan satisfacción de estudiantes de un OA) el uno al otro o toman nota de los trabajos de cada uno: La literatura sobre Se pretende conocer si el OA ha sido adecuado como tecnología educativa está colmada de unidad de enseñanza, es decir, valorar su calidad desde interpretaciones ingenuas y simplistas de el punto de vista de los estudiantes con preguntas los problemas de diseño de interfaz, y relacionadas a su satisfacción con respecto a los muchos escritores de la literatura IPO contenidos, actividades y evaluación (usabilidad parecen no ser conscientes de los pedagógica), diseño de la interfaz y navegación importantes acontecimientos que se han (usabilidad). Para ello deben definirse una serie de hecho en las teorías del aprendizaje”. criterios que se correspondan con la valoración buscada. En esta línea y extendiendo los atributos de usabilidad Diferentes criterios han sido desarrollados para la definidos por , denominamos “usabilidad evaluación de software y diseño de la interfaz. En este pedagógica” a la facilidad de aprendizaje, eficiencia de cuestionario se parte de los principios heurísticos. Los uso pedagógico y la satisfacción con las que las principios heurísticos son criterios que pretenden aplicar personas son capaces de realizar sus tareas gracias al normas conversacionales a la interacción entre una uso del producto con el que está interactuando. persona y la interfaz de un sistema o producto, de modo Entendemos eficiencia de uso pedagógico como la que éstos se entiendan y trabajen juntos de forma capacidad de propiciar aprendizajes significativos efectiva. mediante interacciones generadas en la Zona de El origen de los principios heurísticos, entendidos como Desarrollo Próximo (ZDP). tales fue presentado por. Aunque, , presentó La ZDP es la distancia entre el nivel real de desarrollo, antes “ocho reglas de oro” para lograr una correcta determinado por la capacidad de resolver interacción en una interfaz. Cada criterio heurístico independientemente un problema.En relación a ello, contiene una serie de sub-reglas (o sub-heurísticas). Las el Nivel de Desarrollo Potencial es determinado a través subheurísticas son las preguntas que detallan las de la resolución de un problema bajo la guía de un características de los criterios, que suelen ser bastante adulto o en colaboración con un compañero más capaz. generales. Para que realmente sea significativo el aprendizaje La selección de las sub-heurísticas se realiza teniendo (concepto acuñado por Ausubel ) , éste debe reunir en cuenta la aplicación o sistema a evaluar. Una vez varias condiciones: la nueva información debe seleccionados se procede a adecuarlos al contexto de relacionarse de modo no arbitrario y sustancial con lo uso (en este caso los OAs). La personalización de los que el alumno ya sabe, dependiendo también de la criterios le dará mayor valor a la evaluación y orientará disposición (motivación y actitud) de éste por aprender, al evaluador en la misma. así como de la naturaleza de los materiales o contenidos El cuestionario entonces abarca dos dimensiones: de aprendizaje. técnica y pedagógica. Coincidimos con en que la ZDP, es vista como un Los criterios para la dimensión técnica se basaron en los proceso de apropiación instrumental, un espacio diez principios heurísticos de Nielsen , las ocho estratégico para el desenvolvimiento del desarrollo reglas de oro para el diseño de interfaces descritas por humano en dónde el agente promotor de desarrollo , la adaptación a la Web de los principios de Instone puedo no ser ser necesariamente una persona. El papel , los principios para el diseño de sistemas centrados de las herramientas culturales (un libro, la computadora, en el usuario de y las recomendaciones de. TE&ET N°8| Diciembre 2012| ISSN 1850-9959| RedUNCI-UNLP 67 Evaluación de la usabilidad de un Objeto de Aprendizaje por estudiantes [pág. 65-76] Las categorías y criterios que componen la dimensión Tal lo expresado en los párrafos anteriores, el estudiante pedagógica fueron definidas a partir de los atributos de valorará el OA, no sólo por la funcionalidad, usabilidad, usabilidad pedagógica: propiciar un aprendizaje los contenidos, sino también por las emociones o los significativo en la Zona de Desarrollo Próximo y las dos sentimientos que le provoca. dimensiones del material potencialmente significativo El diferencial semántico (DS) es uno de los métodos señaladas por : más utilizados en el llamado “diseño emocional”. La Significatividad lógica: coherencia en la estructura misma aporta información sobre las emociones que el interna del material, secuencia lógica en los procesos objeto genera, obteniendo el valor connotativo y y consecuencia en las relaciones entre sus elementos captando el significado afectivo que el usuario tiene de componentes. él. El procedimiento de aplicación es el siguiente: ante un Significatividad psicológica: conexión del objeto o imagen se solicita al sujeto emitir un juicio conocimiento nuevo con el previo. Se refiere a que subjetivo. El juicio debe darse de acuerdo a una escala los contenidos sean comprensibles desde la con dos descriptores o adjetivos opuestos situados en los estructura cognitiva que posee el sujeto que aprende. extremos. Para la construcción de CUSEOA, además de lo En los últimos años se han desarrollado metodologías expresado en los párrafos anteriores de esta sección se basadas un proceso de DCU que utilizan el diferencial tuvieron en cuenta: semántico para medir ese valor emotivo del producto,  Las recomendaciones de sobre las permitiendo producir nuevos productos basados en los características básicas de un cuestionario de deseos y demandas del consumidor. La Ingeniería evaluación de usabilidad de recursos educativos en Kansei (IK) es una de las metodologías linea. precursoras. Se trata de una herramienta de ingeniería que permite captar las necesidades emocionales de los  El Cuestionario PMLQ de que aborda el usuarios y establecer modelos de predicción problema desde el punto de vista de la experiencia matemáticos para relacionar las características de los subjetiva de los estudiantes en su interacción directa productos con esas necesidades emocionales. con los contenidos educativos y se basa en la revisión de numerosos trabajos de investigación en Es decir, desde el punto de vista técnico un buen el campo. producto debería satisfacer todas las expectativas del consumidor, pero especialmente la de provocar una  El cuestionario SUS de , por su fiabilidad. respuesta emocional positiva. Además, a pesar de ser corto puede combinarse con otros métodos como propone la metodología Desde el punto de vista pedagógico, como ya se indicó planteada en este artículo. antes, el aprendizaje no puede darse si el alumno no quiere aprender. Este es un componente que se refiere a  El cuestionario QUIS de , por los aspectos que la disposición emocional y actitudinal, que puede evalúa, la adaptación de los criterios heurísticos al abordarse desde la motivación. contexto de un recurso educativo y porque sigue los principios de DCU. Esta componente del instrumento CUSEOA, aborda estos aspectos en dos partes: a) Se le presenta al estudiante una serie de adjetivos La estructura de CUSEOA es la siguiente: bipolares y se solicita que lo clasifique en una escala 7 1. Reacción global al OA puntos 2. Dimensión pedagógica Para evitar prejuicios, sólo se emplearon escalas positivas. El rango real es -3 a +3.La Tabla 1, muestra 3. Dimensión técnica los puntajes presentados a los estudiantes, y los puntajes Este cuestionario también contiene un item de reales. comentarios para que el estudiante exprese libremente PUNTAJE 1 2 3 4 5 6 7 su opinión sobre el OA. Esta información fácil difícil complementará la obtenida en las otras tres partes de CUSEOA frustrante satisfactorio aburrido ameno A continuación se describen cada una de las partes del cuestionario. rígido flexible 1. Reacción global al OA: PUNTAJE REAL Tabla 1. Escala de Diferencial Semántico 68 TE&ET N°8| Diciembre 2012| ISSN 1850-9959| RedUNCI-UNLP  Evaluación de la usabilidad de un Objeto de Aprendizaje por estudiantes [pág. 65-76] b) Valoración de recomendación del OA a otros desde 1 correspondiente a “totalmente en desacuerdo” estudiantes a través una proposición o afirmación que hasta 5 “Totalmente de acuerdo”. debe calificar utilizando una escala desde 1 3. Dimensión técnica (Usabilidad Web): correspondiente a “totalmente en desacuerdo” hasta 5 “Totalmente de acuerdo”) Comprende aspectos relativos al diseño de la interfaz y la estructura y navegación (Tabla 2). El estudiante debe 2. Dimensión pedagógica: valorar la Funcionalidad y Usabilidad luego de la Comprende aspectos relativos a los objetivos, interacción con el OA. contenidos teóricos, actividades y realimentación. Su Consta de 7 proposiciones o afirmaciones que debe propósito es valorar la significatividad lógica y calificar utilizando una escala desde 1 correspondiente a psicológica en los OA desde la perspectiva del “totalmente en desacuerdo” hasta 5 “Totalmente de estudiante (Tabla 2).Consta de 6 proposiciones o acuerdo” afirmaciones que debe calificar utilizando una escala CRITERIOS CATEGORÍA SUB-HEURISTICAS HEURÍSTICOS Motivación Recomendaría este recurso a otra persona. Conocimientos El nivel de dificultad de los contenidos fue elevado para mis conocimientos SIGNIFICATIVIDAD previos previos. PEDAGÓGICA USABILIDAD PSICOLÓGICA Innovación y El sistema informa sobre mi progreso. autonomía Objetivos Los objetivos indican lo que se espera que sea aprendido. SIGNIFICATIVIDAD Contenidos El material teórico me ayudó a comprender los conceptos. LÓGICA Actividades Las actividades han sido claras y significativas para mi aprendizaje Lenguaje de los Las imágenes empleadas me ayudaron a aclarar los contenidos. USABILIDAD DE SITIOS WEB usuarios Los videos y las animaciones me ayudaron a aclarar los contenidos. DISEÑO DE INTERFAZ Diseño estético y En general, los colores y el diseño de todo el recurso son adecuados. minimalista Visibilidad del estado Me encontré perdido cuando recorría el recurso, no sabía dónde me del sistema encontraba ESTRUCTURA Y El texto es conciso y preciso. Reconocimiento más NAVEGACIÓN que memoria Los títulos son inadecuados, no se sabe cual es la acción que se debe realizar. Navegación visible La información está mal organizada. Tabla 2. Categorías y criterios heurísticos En cuanto a los indicadores se tuvieron en cuenta:  La valoración individual de las dimensiones 2.3 Análisis de la grabación de uso pedagógica y técnica. (registros de Logs)  La valoración global de las dimensiones pedagógica Típicamente, los EVEAS contienen un registro de la y técnica que se calcula como promedio ponderado, interfaz y estadísticas sobre la frecuencia con la que en donde cada peso es la proporción de criterios cada usuario ha utilizado el OA y la frecuencia con que heurísticos asociados a cada dimensión tal como se los diversos eventos de interés han ocurrido. El muestra en la Tabla 3. procedimiento consiste en la captura de los registros almacenados en el EVEA de cada estudiante que  La reacción global a partir del análisis de los interactuó con el OA. Posteriormente se procede a resultados de la escala de diferencial semántico cruzar esta información con los resultados del DIMENSION SUBHEURISTICAS PESO Cuestionario a fin de rescatar información más detallada Usabilidad Pedagógica 6 46% de sus percepciones. Usabilidad Web 7 54% Total 13 100,00% Tabla 3. Pesos de cada categoría TE&ET N°8| Diciembre 2012| ISSN 1850-9959| RedUNCI-UNLP 69 Evaluación de la usabilidad de un Objeto de Aprendizaje por estudiantes [pág. 65-76] 3. Aplicación de la Metodología de El OA fue recorrido por 33 estudiantes del curso, algunos de ellos desde sus computadoras (13) y otros en evaluación de un OA por parte de una clase práctica (20). los estudiantes 3.1 Análisis de resultados de la aplicación Este caso de estudio que presentamos corresponde a un del Cuestionario CUSEOA OA para un curso de programación inicial de la Facultad de Ingeniería de la Universidad Nacional de Se analizan a continuación cada una de los resultados de Mar del Plata. Las carreras que se dictan son “No - cada parte del cuestionario. informáticas”. i) Reacción global al OA. Parte a El tema seleccionado para el OA fue “Pasaje de En la Tabla 5 se muestran los valores medios de la parámetros”. En su construcción de presentaron los percepción de los estudiantes para cada adjetivo y luego contenidos principales involucrados mediante ejemplos el valor medio total. Un análisis global de los resultados desarrollados con diferentes medios: texto, imagen, y de acuerdo a la escala utilizada (-3,3) indica que los video, audio, etc y se incorporaron actividades de estudiantes tienen en general una percepción positiva. autoevaluación y grupales. adjetivos Fácil Satisfactorio Ameno Flexible Los objetivos del OA se presentan en la Tabla 4. Media 1.10 1.70 1.00 0.40 Desviación 1.25 1.38 1.34 1.54 típica Tabla 5. Valores medios y Desviación típica Objetivo General: Resolver problemas utilizando el pasaje de Profundizando acerca de la jerarquía que le otorgan los parámetros estudiantes a los adjetivos se realizó una clasificación a Objetivos específicos: través del Análisis de Conglomerados Jerárquicos. Este análisis identifica conglomerados de palabras o  Entender la descomposición como forma de resolución de problemas. imágenes (en función de lo que se pretenda clasificar)  Dar valor a la reusabilidad en búsqueda de la eficiencia en relativamente homogéneas, y lo hace dentro de un la escritura el código. proceso jerárquico. De hecho, en el primer paso, se  Establecer comunicación entre módulos. agrupan los pares de palabras/imágenes más similares y  Comprender las ventajas de la descomposición el proceso se repite recursivamente hasta que sólo queda  Diferenciar los distintos tipos de pasaje de parámetros. un grupo. La similitud se mide en términos de distancia  Distinguir entre variables locales y variables globales. entre opiniones recogidas. Tabla 4. Objetivos del OA Los resultados del análisis de conglomerados jerárquicos sobre los 4 adjetivos para clasificar las Luego del proceso de desarrollo y evaluación por parte palabras e imágenes se muestran gráficamente en el de expertos, el OA fue incorporado al Curso de la Gráfico 1. asignatura dentro de la Plataforma Moodle de la Se observa que se agrupan en el primer paso las Facultad de Ingeniería de la UNMDP (Figura 1) para palabras Flexible con Fácil y Satisfactorio con Ameno. que este disponible para estudiantes y de esta manera se A partir del dendograma se puede concluir que para los produzca un proceso de interacción del OA con los estudiantes: usuarios finales. En la Figura 2 se muestra la estructura del OA.  La facilidad del OA se jerarquiza con la flexibilidad (integración entre la calidad pedagógica y técnica)  Les resulta satisfactorio si es ameno (el recurso responde a la satisfacción del estudiante si le resulta ameno).  No obstante estos adjetivos, no deben considerarse equivalentes, sino sólo jerárquicamente relacionados. Figura 1. OA en el curso de Figura 2. Estructura del OA Moodle i) Reacción global al OA. Parte b El 95% de los estudiantes recomendaría el recurso, con lo cual indica que es valorado positivamente. 70 TE&ET N°8| Diciembre 2012| ISSN 1850-9959| RedUNCI-UNLP  Evaluación de la usabilidad de un Objeto de Aprendizaje por estudiantes [pág. 65-76] ******HIERARCHICAL CLUSTER ANALYSIS****** Dendrogram using Average Linkage (Between Groups) Rescaled Distance Cluster Combine CASE 0 5 10 15 20 25 Label Num +---------+---------+---------+---------+---------+ fácil 1 flexible 4 satisfac 2 ameno 3 Gráfico 1.Dendrograma ii) Dimensión pedagógica y técnica conciso y preciso. A continuación se presentan las conclusiones a partir  El 85% de los estudiantes considera que los de los resultados obtenidos: títulos indican claramente la acción a realizar.  El 90% de los estudiantes está totalmente de  El 95% de los estudiantes manifestó que las acuerdo en que el objetivo indica lo que se imágenes empleadas aclaran los contenidos espera que sea aprendido. presentados. Es decir, la imagen tiene un valor añadido.  El 65% de los estudiantes coincide en que el nivel de dificultad es adecuado a sus  Todos los estudiantes coincidieron en que conocimientos previos. El 30% es indiferente: claramente sabían en que parte del OA se no puede analizar el grado de dificultad o no le encontraban en cada momento. Lo que indica interesa analizarlo. que el diseño de la interfaz y las metáforas empleadas son adecuadas.  El 80% de los estudiantes consideró que el material teórico del OA le ayudó a comprender  El 95% de los estudiantes consideró muy los conceptos. positiva la incorporación de los videos. Afirman que los videos aclaran los contenidos  El 90% de los estudiantes afirma que las presentados. actividades planteadas han sido claras y significativas para su propio aprendizaje.  Todos están totalmente de acuerdo en que la información está bien organizada.  El 75% de los estudiantes manifestó que el recurso no informa sobre su progreso. En este  El 65% de los estudiantes está de acuerdo con caso no hay una feedback (retroalimentación) los colores y el diseño. Para el 35%, el diseño le dentro del OA, sino por fuera de él a través de resulta indiferente. los intercambios que pueden producirse entre el profesor y sus propios compañeros en las Resumimos a continuación algunos de los actividades grupales y de pares. Es necesario comentarios realizados por los estudiantes al terminar incorporar mayor retroalimentación dentro del de responder el cuestionario. Las mismas reflejan las OA. percepciones de los estudiantes acerca del OA, más allá de los resultados cuantitativos:  El 65% de los estudiantes coincide en que las pistas sobre los errores cometidos son útiles. El  “La información brindada me parece de gran 35% es indiferente. Analizando el sentido de ayuda para aclarar dudas ya que al ver esta proposición desde el punto de vista del gráficamente los pasos de los programas nos estudiante, podemos pensar que lo asociaron con hace sentirnos más cómodos cuando escribimos las correcciones particulares y no con las y ejecutamos programas en ella computadora”. recomendaciones sobre los errores posibles presentados en el OA. Se debería replantear esta  “Es necesario que exista material interactivo y que se tenga en cuenta nuestra opinión al proposición y reescribirla para aclarar su respecto. El material sirve parar comprender las intención, o desdoblarla en dos proposiciones dudas de la teoría”. (recomendaciones sobre el error y corrección del error).  “Me parece ameno el material, fue dinámico y permite la incorporación de conceptos. La  El 80% de los estudiantes afirmó que el texto es utilización de videos facilita ver la ejecución del TE&ET N°8| Diciembre 2012| ISSN 1850-9959| RedUNCI-UNLP 71 Evaluación de la usabilidad de un Objeto de Aprendizaje por estudiantes [pág. 65-76] programa en forma clara y ordenada”. Pasaje de Parámetros por referencia con variables  “En mi opinión, la existencia del cuestionario simples (V3) ayuda a mejorar el material, y más cuando se Pasaje de Parámetros por trata de un recurso interactivo. La presencia del referencia con variables material beneficia al aprendizaje ya que ayuda a estructuradas (V4) reforzar y visualizar los conceptos vistos en Ejemplos Problemas Resueltos (PR) clase”. Actividades Actividad Grupal (AG1)  “Los videos ayudan mucho a comprender el Actividad de Pares (AG2) funcionamiento y orden de los procedimientos”. Tabla 6. Categorización del contenido del OA La categoría Ejemplos corresponde a la descarga del  “Me hubiese gustado que haya algunos ejemplos archivo con problemas resueltos. Dado que no hay más difíciles, similares a los que toman en los interacción, los valores obtenidos indican el tiempo parciales” que llevó descargarlo solamente que depende  “Me pareció muy útil la información extra al proveedor de Internet del usuario, no teniendo pues módulo teórico de la cátedra, muy interactivo y sentido analizar estos valores. de fácil interpretación, reforzando así los Con respecto a la categoría Actividades, comprende conocimientos previos. Sugiero que para los los enunciados de los problemas que se resuelven siguientes temas se incorporen material de este fuera del OA, con lo cual no tiene sentido analizar tipo”. estos valores. Esta categoría podría analizarse en otro estudio a posteriori a partir de los resultados de la 3.2 Análisis de Grabación de uso (registro interacción fuera del OA. de Logs) i) Análisis de resultados del Grupo A El procedimiento consistió en capturar los registros de Se calcularon los estadísticos para cada uno de las la interacción del estudiante con el OA que se variables (medidas en segundos) de cada categoría. encuentran almacenados en el curso de Computación Los tiempos utilizados registraron variabilidad, de la Plataforma Educativa Moodle. Como se indicando que cada estudiante siguió su propio ritmo. describió anteriormente los 33 estudiantes se La media no puede considerarse un valor dividieron en dos grupos: representativo, se analizaron entonces otras Medidas Grupo A: sólo interacción con el OA (N= 13) de Posición no centrales como los cuartiles. Grupo B: interacción y valoración del OA a través del  Estructura del OA: Árbol de contenidos (AC).El cuestionario (N = 20) tiempo utilizado registra variabilidad (CV= 69.26%). El 75% de los estudiantes utilizó 7.52 Para realizar el análisis, los registros capturados segundos o menos para reconocer el árbol, lo fueron agrupados en categorías de acuerdo a la que indica su simplicidad. estructura del OA. Cada categoría incluyó una serie de variables (Tabla 6).  Objetivos: A pesar de la variabilidad registrada, CATEGORÍAS VARIABLES de los tres objetivos, en el que más se detuvieron Estructura del Árbol de contenidos (AC) fue en el “Objetivo General del OA”, que OA aunque consta de una sola línea, despertó más Objetivos del OA (OBJ) interés. El 50% de los estudiantes utilizó 4.09 Objetivos de contenidos segundos o menos y el 75%, 16.63 o menos. Objetivos teóricos (CON) Objetivos de las actividades  Contenidos Conceptuales: Aunque la variabilidad registrada es muy grande, de los tres (OAC) Pasaje de Parámetros (PP) contenidos, en el que más tiempo se detuvieron Pasaje de Parámetros por valor fue en “Pasaje de Parámetros” (PP). El 50% de Contenidos (PPV) los estudiantes utilizó 3.15 segundos o más y el conceptuales 75% 11.56 o menos. Pasaje de Parámetros por referencia (PPR) Pasaje de Parámetros por  Videos : valor con variables simples  Video 1: El 50% utilizó 1.26 segundos o (V1) más, lo que indica que no lo vieron completo Videos Pasaje de Parámetros por ya que el video dura 75 segundos. El 75% valor con variables utilizó 3.72 segundos o menos, es decir no lo estructuradas (V2) vieron completo. 72 TE&ET N°8| Diciembre 2012| ISSN 1850-9959| RedUNCI-UNLP  Evaluación de la usabilidad de un Objeto de Aprendizaje por estudiantes [pág. 65-76]  Video 2: El 50% empleó 0.83 segundos o triple del tiempo que dura que es de 75 más, lo que indica que el 50% no lo vio segundos. El 75% utilizó 317.85 segundos o completo, ya que este video dura 93 menos, indicando que por lo menos segundos. El 75% utilizó 11.85 segundos o cuadriplicaron el tiempo de duración del menos, indicando que este porcentaje de video. estudiantes no vio el video completo.  Video 2: El 50% empleó 129.72 segundos o  Video 3: El 50% utilizó 1.26 segundos o más, lo que indica que no se detuvieron tanto más, lo que indica que no lo terminaron de tiempo como en el Video 1, ya que este video ver completo, ya que el video dura 85 dura 93 segundos. El 75% utilizó 265.43 segundos. El 75% utilizó 3.34 segundos o segundos o menos, indicando que por lo menos, indicando que este porcentaje de menos casi triplicaron el tiempo de duración estudiantes no vio el video completo. Más del video. aún, ninguno de los estudiantes de este grupo  Video 3: El 50% utilizó 59.37 segundos o lo vio completo pues el valor máximo es más, lo que indica que no lo terminaron de 62.15 segundos. Este video es similar al ver completo, ya que el video dura 85 video 1, pero la diferencia es que resuelve el segundos. El 75% utilizó 139.42 segundos o problema Swap al utilizar pasaje de menos, indicando que por lo menos casi parámetros por referencia. duplicaron el tiempo de duración del video.  Video 4: El 50% empleó 1.26 segundos o Este video es similar al video 1, pero la más, lo que indica que la mitad de los diferencia es que resuelve el problema Swap estudiantes no lo vio completo, ya que el al utilizar pasaje de parámetros por video dura 120 segundos. El 75% utilizó 2.02 referencia. segundos o menos, indicando que este  Video 4: El 50% empleó 3.58 segundos o porcentaje de estudiantes no vio el video más, lo que indica que la mitad de los completo. Más aún , ninguno de los estudiantes no lo vio completo, ya que el estudiantes de este grupo lo vio completo video dura 120 segundos. Sin embargo del pues el valor máximo es 2.02 segundos. resto un 25% se detuvo 237.25 o más, que ii) Análisis de resultados del Grupo B casi duplica la duración del video. Los tiempos utilizados registraron mucha iii) Comparación de grupos variabilidad, indicando que cada estudiante siguió su Para determinar cuáles son las componentes del OA propio ritmo. La media no puede considerarse un que permiten establecer las diferencias entre los valor representativo, se analizaron entonces otras estudiantes que no respondieron el cuestionario Medidas de Posición no centrales como los cuartiles. (Grupo A) y los que lo respondieron (Grupo B) se  Estructura del OA: Árbol de contenidos (AC).El realizaron pruebas de diferencias de medias. tiempo utilizado registra mucha variabilidad Previo a ello, se aplicó la prueba de normalidad de (CV= 341.79%). El 75% de los estudiantes Kolmogorov-Smirnov para definir si se optaba por utilizó 11.38 segundos o menos para reconocer una prueba paramétrica o no-paramétrica. Los el árbol, lo que indica su simplicidad. resultados se presentan en el Apéndice D. Las variables AC, OBJ, CON,OAC, PP, PPR (p>0.05),  Objetivos: A pesar de la variabilidad registrada, mientras que las variables PPV, V1, V2, V3, V4 no de los tres objetivos, en el que más se detuvieron (p0.05) contenidos, en el que más tiempo se detuvieron entre el Grupo A y el Grupo B para las variables AC, fue en “Pasaje de Parámetros por valor” (PPV). OBJ, CON, OAC, PP, PPR y PPV. Es decir no hay El 50% de los estudiantes utilizó 18.64 segundos diferencia entre los estudiantes que respondieron el o más y el 75% 57.23 o menos. cuestionario y los que no lo respondieron con respecto al recorrido realizado en: Árbol de  Videos : contenidos (AC), Objetivos del OA (OBJ), Objetivos de contenidos teóricos (CON), Objetivos de las  Video 1: El 50% utilizó 211.05 segundos o actividades (OAC), Contenidos conceptuales: más, lo que indica que se detuvieron más del referidos al Pasaje de Parámetros (PP), Pasaje de TE&ET N°8| Diciembre 2012| ISSN 1850-9959| RedUNCI-UNLP 73 Evaluación de la usabilidad de un Objeto de Aprendizaje por estudiantes [pág. 65-76] Parámetros por valor (PPV) y Pasaje de Parámetros estudiante, de modo de adaptar (con técnicas de por referencia (PPR). minería de datos e Inteligencia Artificial) aspectos de los OA generados con la metodología MPOBA. Se encontraron diferencias significativos (p