Evaluación de Software Educativo

Exposición de diferentes pautas, dimensiones y estrategias desde las que el profesor podrá llevar a cabo la evaluación del Software Educativo que decida incorporar en su acción educativa, así como la propuesta de un instrumento de evaluación.

La tecnología multimedia

Desgraciadamente no le hemos prestado atención a la selección de cualquier tecnología, sino que por el contrario hemos pensado que el simple hecho de su existencia era una variable crítica para su utilización en la enseñanza. Y ello podría ser cierto en aquellos momentos en los cuales el profesorado contaba con pocos medios para su utilización, pero el hecho es bastante más diferente en la actualidad, donde el volumen de medios, software, etc., con que contamos para ser incorporado a la práctica educativa es bastante, o en ocasiones, demasiado amplio, de ahí que su evaluación comience a ser un proceso al cual debamos de prestarle bastante interés. Y ello pasa necesariamente por tener no sólo una amplia gama de instrumentos puestos a nuestra disposición, sino más bien centrar nuestro proceso en abordar una serie de dimensiones que nos den cobertura teórica y reflexiva para llevarlos a cabo.

Es por ello que, en este artículo, perseguimos un doble objetivo: en primer lugar, aportar una serie de instrumentos para que el profesor, apoyándose en los mismos y teniendo en cuenta las características de sus alumnos y la actividad profesional que desee desempeñar, los aplique. Pero al mismo tiempo, y éste sería nuestro segundo objetivo, aportarles pistas y referencias para que construya sus propios instrumentos evaluativos adaptados a sus necesidades.

Abordando el primero de nuestros objetivos, destacar que la evaluación de Software Educativo (SE) conlleva tener en cuenta distintos factores que influirán de manera concisa en su utilización y puesta en práctica. Así pues, será imprescindible hacer alusión a factores relacionados con el contexto en el que vaya a ser utilizado, qué experiencias previas posee el alumno en relación a dicha herramienta, la motivación, o qué características tienen los distintos alumnos que van a interaccionar con los instrumentos. Y en relación a lo anteriormente comentado, es conveniente señalar que, a la hora de llevar a cabo un trabajo sobre evaluación de medios, o en este caso, más concretamente de SE, lo primero que debemos hacer es tener en cuenta que dicha actividad no puede ser realizada de forma aislada de todos aquellos componentes que conforman el currículo, tales como: objetivos, contenidos, metodología, etc.

Dimensiones objeto de evaluación

Adentrándonos en especificar las dimensiones que pueden ser objeto de evaluación del SE, digamos desde el principio que existe actualmente una amplia diversidad de propuestas en torno a dicho campo. Nosotros señalamos a continuación algunas como las más significativas desde nuestro punto de vista, haciendo hincapié en el hecho de que es posible que se produzca variación de unos autores a otros.

Destacamos, en primer lugar, la que realiza el “Texas Learning Technology Group” (Knight, 1993, en Cabero y Duarte, 1999) presentando un instrumento de evaluación formado por cinco grandes dimensiones referidas a los siguientes aspectos concretos:

Haciendo alusión a los mismos autores nombrados anteriormente, otra posibilidad que cabe concebir en la evaluación de SE, se basa en la elaboración de diferentes listas de evaluación de la herramienta diferenciando entre criterios referidos al profesor y criterios dirigidos al alumnado (Salvas y Thomas, 1984).

Aquellos que están incorporados al profesorado son:

• Aspectos educativos: Incluyen cuestiones referidas a la definición y claridad de los objetivos, adecuación a las características de la audiencia,…
• Reacción del usuario: Abarca el poder motivador, las facilidades para la interacción con el mismo,…
• De lectura: En los que se encuentran aspectos como la legibilidad, la adecuación y oportunidad del lenguaje,…
• Funcionales: Referidos a la rapidez y facilidad en el lanzamiento del programa, velocidad,…
• De explotación de la máquina: Tales como el rendimiento y los requisitos necesarios para el buen funcionamiento del mismo,..
• Material complementario.

Por otro lado, nos encontraríamos con aquellos que están incorporados al alumnado, tales como:

• Educativos: Referidos a aspectos como la flexibilidad de la estructura para el usuario, la facilidad de recuerdo,…
• Funcionales: De claridad en la exposición de las instrucciones, sobre el control de la dificultad,…
• De explotación de la máquina: Como sería por ejemplo el uso de efectos especiales.
• Y por último, el del material complementario.

Podemos también referirnos a los distintos estándares que nos servirán como punto de referencia propuestos por el “Comité conjunto de estándares para evaluación educativa”, tales como:

• Utilidad: Respondiendo a las necesidades de información de los usuarios.
• Viabilidad: A través de diseños operativos, tanto de recursos materiales como de personal o tiempo.
• Propiedad: Bajo formas éticas.
• Precisión: Divulgación de la información técnicamente adecuada para conocer los rasgos que determinan el valor del programa que se ha evaluado.

Y antes de adentrarnos en una propuesta más concreta sobre un instrumento para la evaluación de SE, señalar que podremos encontrarnos con diferentes tipos o modalidades de evaluación a la largo del tiempo. La formativa, en la que el evaluador, en este caso el profesor, llevará a cabo una evaluación desarrollada a lo largo de todo el proceso de diseño, producción y aplicación del recurso educativo. Por otro lado, la evaluación sumativa será aquella efectuada una vez finalizada la producción del material multimedia y su objeto es averiguar su eficacia, tanto en los receptores como en la consecución de los objetivos propuestos. No podemos olvidar también que, diferentes autores, incorporan un tercer tipo de evaluación, más concretamente, la evaluación inicial, cuyo objetivo es diagnosticar la situación de partida y establecer las características que deberá tener el SE y los objetivos que pretenderá alcanzar.

Propuesta de instrumento para la evaluación de SE

Por otro lado, y remitiéndonos a Cabero y Duarte (1999), podemos abordar la evaluación del SE desde varias dimensiones, y más que hacer una simple alusión a las mismas, mostramos la propuesta realizada sobre la posibilidad de llevarla a cabo construyendo un instrumento con sus ítems correspondientes, para que el profesorado interesado obtenga un modelo de referencia que le pueda orientar en el proceso de su propia evaluación.

• Características y potencialidades tecnológicas

1. Hardware y periféricos que requiere: Facilidad de presencia en los centros escolares.
2. Capacidades y potencialidades tecnológicas que requieren en el ordenador.
3. Tamaño de los ficheros y método de comprensión utilizado.
4. Capacidad de almacenamiento.
5. Tiempo de acceso al programa y a partes individuales del mismo.
6. Capacidad del programa para la utilización de sonidos, de imágenes en movimiento, de animación y de gráficos.
7. Posibilidad de que el programa pueda ser utilizado en diferentes plataformas.
8. Permite que pueda intervenir sobre el mismo el profesor o el estudiante.
9. El programa puede soportar las modificaciones de programadores y usuarios.
10. Permite la utilización de diferentes periféricos (teclado, ratón,…) para la interacción con el programa.
11. Posibilidad de impresión de los datos en papel.
    ...

• Diseño del programa desde un punto de vista técnico

1. Calidad del programa respecto a la utilización del audio, imágenes estáticas y en movimiento, y animática.
2. Tamaño de los textos y gráficos utilizados adecuados para su observación correcta.
3. Utilización del programa sin conocimientos previos de informática.
4. Sincronización entre los diferentes elementos utilizados en el programa.
5. Los gráficos utilizados son fáciles de comprender e interpretar.
6. Las transiciones entre las diferentes pantallas del programa son efectivas.
7. Los efectos especiales son utilizados de forma coherente y eficaz.
8. Cuando los estudiantes han de introducir alguna respuesta solamente se activan las teclas con las que puede responder.
9. Aporta información sobre la utilización realizada por el usuario, tiempo invertido y desarrollo seguido.
10. …

• Diseño del programa desde un punto de vista didáctico

Todos estos objetivos nos van a permitir desarrollar en el profesor (alumno) las siguientes capacidades:

1. Adecuación de los contenidos presentados con el curriculum oficial.
2. Inclusión de ejercicios y actividades a desarrollar por el sujeto.
3. Los ejercicios y actividades están en relación con los contenidos desarrollados en el programa.
4. Se ofrecen diferentes niveles de dificultad de manera que el programa pueda ser adaptado a los conocimientos previos del estudiante y a sus necesidades.
5. Los niveles de dificultad utilizado se apoyan en una lógica discernible (capacidad de lectura, conocimientos adquiridos por el estudiante,…)
6. Se presentan diferentes ejercicios y actividades sobre un mismo concepto.
7. Utilización del programa tanto en un contexto grupal como individual de enseñanza.
8. Adecuación del programa para ahorrar tiempo al estudiante y al profesor en comparación con otros medios.
9. El nivel de legibilidad de los textos, gráficos, esquemas…, es adecuado a la población estudiantil a la cual va destinado.
10. La forma de presentación de los contenidos y actividades motiva al estudiante.
11. El programa fomenta el trabajo cooperativo entre los estudiantes.
12. El programa desarrolla la creatividad y el pensamiento divergente.
13. Las estrategias metodológicas que se utilizan en el programa para el desarrollo de los contenidos son innovadoras.
14. El programa permite que el estudiante pueda tomar una serie de decisiones, tanto respecto a los contenidos con los que quiere interaccionar, como a la forma simbólica como quiere interaccionar mediante el programa.
15. Los objetivos a alcanzar por el programa están claramente definidos por los diseñadores/productores.
16. Refleja el programa la cultura donde el estudiante se desenvuelve.
17. Los modelos de simulación que se ofrecen son válidos: ni demasiado simples, ni demasiado complejos.
18. Existencia de menús de ayudas para los estudiantes.
19. Da el programa información sobre los errores cometidos.
20. El programa permite que el estudiante corrija las respuestas ofrecidas antes de ser aceptadas.
21. …

• Contenidos

1. El contenido que se presenta es actual y válido desde el punto de vista científico.
2. Los contenidos se presentan en una secuenciación y estructuración correcta.
3. Los contenidos son presentados de forma original y atrayente.
4. El volumen de información presentado es suficiente para el dominio correcto de los contenidos por parte del estudiante y la adquisición de los objetivos previstos para el programa.
5.  …

• Utilización por parte del estudiante: manipulación del programa e interactividad

1. Es complicado de manejar para el estudiante tipo al cual va destinado.
2. El estudiante puede alterar la marcha y la secuencia del programa.
3. El nivel de navegación que permite desorienta al estudiante.
4. Facilidad para volver al menú principal.
5. Facilita la construcción activa de conocimiento en el estudiante, o simplemente repetitiva.
6. Es fácil de instalar y desinstalar.
7. Ofrece retroalimentación positiva.
8. La retroalimentación que ofrece nos es aburrida ni ofrece información innecesaria.
9. El programa permite que el estudiante realice su propio itinerario formativo.
10.  …

• Material complementario

1. Existencia de material complementario de apoyo.
2. Claridad de las explicaciones técnicas, didácticas y operativas ofrecidas en los materiales complementarios.
3. Inclusión de ejemplos de propuestas de utilización y explotación.
4. Se ofrece información respecto a cómo los contenidos presentados se desarrollan con el curriculum oficial.
5. Presenta ejemplos de otros materiales con los cuáles pueda interaccionar el estudiante o el profesor para la profundización en los contenidos.
6. Se ofrece información sobre el proceso de evaluación realizado con el programa y los resultados y dificultades localizados.
7. ...

• Aspectos económicos/Distribución del programa

1. Justifica los beneficios potenciales del programa el costo invertido.
2. Lo razonable que es la inversión en función de la relación costo-durabilidad científica y costo-durabilidad temporal del material.
3. Rentabilidad de la adquisición del material en comparación con otros productos similares existentes en el mercado.
4. Existencia de copias de seguridad o reserva.
5. Existencia de apoyo técnico y didáctico por el distribuidor.
6. ...
   

• Contexto

1. Cómo se ve afectado el contexto por la introducción del programa.
2. Cómo el programa puede afectar al contexto educativo.
3. ...

Una vez expuestas todas las dimensiones con sus correspondientes ítems, hemos creído conveniente reflejarlo en su totalidad por dos motivos: en primer lugar, porque aportamos un referente válido para aquel profesor que quiera comenzar su proceso de evaluación de SE. Y en segundo lugar, porque la concreción de los ítems en diferentes tipos de escalas será tarea unívoca del lector-evaluador que lleve a cabo el proceso.  En este sentido, señalar también que las valoraciones que se realicen del software estarán condicionadas por el tipo de material que vaya a ser evaluado y, por otro lado, por los objetivos que se persigan con dicho proceso de evaluación. A continuación pasamos a exponer aquellas posibles estrategias disponibles para la evaluación de SE.

Estrategias para la evaluación de SE

A la hora de llevar a cabo la evaluación del SE seleccionado para la puesta en práctica en una acción formativa, bien sea presencial, mediante la utilización del ordenador o a través de la Red, deberemos considerar la posibilidad de contemplar diferentes estrategias que pueden ser empleadas, resumidas básicamente en tres:

• Autoevaluación por los productores: La evaluación de cualquier medio audiovisual, informático y multimedia por sus propios productores o realizadores es una de las primeras evaluaciones a las que se ven sometidos todos los medios. De hecho no existe ningún medio que se introduzca en su contexto de uso sin que antes pase alguna revisión bien de sus elementos técnicos o estéticos, o bien de sus potencialidades didácticas. Esta autoevaluación conlleva todo un proceso, comienza con la elaboración del guión y la toma de decisiones para incorporar unos elementos y no otros.

Algunos autores nos hablan de que existen dos tipos de evaluaciones del software informático: internas y externas, que vienen a responder a lo que entendemos por autoevaluación por los productores y evaluación por usuarios o expertos.

Entre sus ventajas se encuentran: al realizarse las críticas y propuestas desde el equipo de producción, éste se puede mostrar más abierto y asumirlas con mayor facilidad; indirectamente la autoevaluación propicia el autoperfeccionamiento del equipo de producción y la mejora constante de los productos realizados; los datos que se obtengan pueden utilizarse de inmediato para la mejora del material; no se requiere que el material esté completamente terminado para llevar a cabo la evaluación; y es posible no contar con equipos de personas ajenas a la producción del programa, que podrían plantear dificultad de localización, retraso en la entrega del material y dificultades económicas para cubrir los gatos del trabajo.

Y en cuanto a sus inconvenientes: puede que el equipo de producción no sea lo suficientemente objetivo para realizar críticas y propuestas de mejora al estar inmerso en su propio trabajo; la formación que sus miembros han de recibir para que el medio realizado puede abordarse desde otros planteamientos puede ser incompleta; no ser una evaluación sistemática y en consecuencia, no profundizar en todos los elementos; y la ausencia de intervención de los usuarios del programa en el proceso de revisión de los medios y materiales.

• Consulta a expertos: La consulta a expertos es probablemente una de las estrategias de evaluación de medios audiovisuales, informáticos y multimedia más tradicionales y más utilizada habitualmente. Es importante que subrayemos el concepto de evaluación de expertos, y evitar que sea de “experto”, ya que es necesario contar con varias opiniones para recoger información válida de los contenidos, el lenguaje, el formato, la estética...

Entre las ventajas de esta estrategia de evaluación destacamos, por un lado, la calidad de las respuestas que se pueden recoger, y por otro, el nivel de profundización que permiten sus respuestas y que nos ofrece información pormenorizada tanto del recurso en general como de las diferentes dimensiones que lo conforman.

Por otro lado, en cuanto a sus inconvenientes, señalamos la necesidad de determinar previamente a su aplicación el concepto de experto que se va a utilizar y los criterios que se van a emplear para su selección y localización; o también, que las modificaciones propuestas no pueden ser inmediatamente introducidas.

• Evaluación por los usuarios: La evaluación “por” y “desde” los usuarios del SE podemos asociarla con la “evaluación didáctico-curricular” a la que aludíamos en su momento cuando hablábamos de las diferentes perspectivas desde las que podríamos evaluar un material multimedia. Es la evaluación más significativa, ya que no podemos perder de vista que todo medio es producido y diseñado para que funcione en un contexto formativo y normalmente en interacción con una serie de variables: profesor, alumno, contexto físico, contexto organizativo, interacciones en el aula... En líneas generales podemos considerar las estrategias de evaluación anteriores como “evaluaciones en el vacío” y a ésta como la “evaluación en el contexto de utilización”. Una de las formas de efectuar esta evaluación por los usuarios consiste en la realización de un ensayo experimental o cuasiexperimental para determinar la eficacia del material en función de los objetivos para los cuales se produjo, su significado para los receptores o el recuerdo de la información por el estudiante. Se trata, por tanto, de que la evaluación sea directamente realizada por los usuarios, o mediante datos que ellos aporten.

Para finalizar decir que no se ha pretendido aportar una única forma de abordar la evaluación de SE, sino que hemos pretendido ofrecer pautas, dimensiones y estrategias desde las que el profesor que decida incorporar Software Educativo en su aula pueda tener referencias sobre cómo llevar a cabo su proceso de evaluación, siempre teniendo en cuenta que éste no deberá producirse de forma aislada del resto de variables que conforman el currículo, sino como un elemento más incorporado en el mismo.

Bibliografía

• CABERO, J. (1994). “Evaluar para mejorar: medios y materiales de enseñanza”. En SANCHO, J.M. (Coord.) “Para una tecnología educativa”. Barcelona: Horsori, pp. 241-267.
• CABERO, J. y DUARTE, A. (1999). “Evaluación de medios y materiales de enseñanza en soporte multimedia”. En Revisa Píxel-Bit, nº 13, pp. 1-18.
• JOINT COMMITTEE ON STANDARDS FOR EDUCATIONAL EVALUATION (1988). “Normas de evaluación para programas, proyectos y material educativo”. México: Trillas.
• SALVAS, A.D. y THOMAS, G.J. (1984). “Evaluation of software”. Melbourne: Education Department of Victoria.
• SQUIRES, D. y McDOUGALL, A. (1997). “Cómo elegir y utilizar software educativo”. Madrid: Morata.

Guardar en mi archivo personal