Anales de la Facultad de Medicina
Universidad Nacional Mayor de San Marcos
Copyright© 2000

ISSN 1025 - 5583
Vol. 61, Nº 3 - 2000

 

Aprendizaje Basado en Problemas: Validación de un Instrumento de Evaluacion

Ileana Petra1, Rosamaría Valle 2 , Adrián Marúnez-Gonzáles3 , Beatriz Piña-G. 4, José Rojas-Ramírez5 y Sara Morales-López

 

RESUMEN

OBJETIVOS: Analizar la labor de un grupo de trabajo (GT) multidisciplinario en la elaboración de un instrumento para valorar el rendimiento de los alumnos durante las sesiones de trabajo de la estrategia de enseñanza conocida como Aprendizaje Basado en Problemas (ABP); así como algunos métodos que sirvieron para la evaluación previa del instrumento y sus resultados, con el fin de preparar el cuestionario para su valoración estadística. MATERIAL Y METODOS: Se consideró cuatro áreas fundamentales: Las características y organización del grupo de trabajo y el instrumento a construir, la validez de apariencia o validez de contenido, la validez de claridad, la labor del grupo después del análisis factorial. RESULTADOS Y CONCLUSIONES: Un grupo de trabajo para desarrollo de instrumentos de evaluación académica debe incluir personas que desean trabajar en equipo y coordinadores expertos en su área; se requiere además de tiempo, desarrollo de habilidades nuevas y revisiones minuciosas para lograr un instrumento práctico y válido; asimismo, la utilidad del trabajo se puede demostrar con la calidad de los reactivos que emergen y el reducido numero de reactivos a ser eliminados.

Palabras claves: Investigación Interdisciplinaria; Estrategia de la Educación; Prueba de Conocimientos; Modelo Educacional; Estrategia de la Investigación.

PROBLEM-BASED LEARNING: VALIDATION OF AN ASSESSMENT INSTRUMENT SUMMARY

OBJECTIVES: To analyze the labour of a multidisciplinary work group in preparing of an instrument for asssessing the performance of students during work sessions of the teaching strategy tenned ProblemBased Leming (PBL), as well some methods useful for previos assessment of instrument and its results, in order to prepare the questionnaire for its statistical assessment. MATERIALS AND METHODS: Four critical areas were taken into account: Characteristics and organization of both the work group and the instrument to be prepared, appearance validity or content validity, clarity validity, and the labour of the group after the factorial analysis. RESULTS AND CONCLUSIONS: A work group for development of an academic assessment instrument must include people willing to team-working and coordinators expert in this field; enough time, new skills development and thoroughly reviews are required for achieving a practical and valide instrument; as well the usefulness of the labour can be demostrated through the emerging reactives quality and reduced number of reactives to be eliminated.

Key words: Interdisciplinary Research; Educational Strategies; Achievement Tests; Educational Models; Research Strategies.

 

INTRODUCCIÓN

En la elaboración de instrumentos para evaluar diversas actividades del proceso enseñanza aprendizaje, se busca obtener resultados que sean lo más justos y objetivos posibles. Es básico que el método que se utilice, dé como resultado un instrumento que tenga las características que señaló Guilbert de validez, confiabilidad, objetividad y viabilidad (1).

La experiencia que se describe en este documento señala los beneficios de formar un grupo de trabajo (GT) constituido por profesores de diversas disciplinas como parte de la estrategia para la elaboración de instrumentos de evaluación o de investigación. La integración del GT con personas de diferente formación profesional es un imperativo en la investigación docente actual, por las ricas y variadas aportaciones que pueden ofrecer diferentes disciplinas para la solución de los problemas, y debido a que el esfuerzo conjunto puede conducir al logro de objetivos aplicables a situaciones mas generalizadas y en periodos de tiempo menores. Entre los aspectos a tomarse en cuenta para la conformación del grupo, figuran la formación profesional de los integrantes, los intereses académicos y las posturas ideológicas de los mismos. Los miembros del GT deben tener clara conciencia de los objetivos a alcanzar, los cuales se lograrán mediante el establecimiento de lineamientos y criterios de trabajo, que no constituyen en sí una limitante para la discusión franca y creativa (2).

En el presente estudio, se analizó la labor de un equipo multidisciplinario en la elaboración de un instrumento para valorar el rendimiento de los alumnos durante las sesiones de trabajo de la estrategia conocida como Aprendizaje Basado en Problemas (ABP); así como algunos métodos que sirvieron para la evaluación previa del instrumento y sus resultados, con el fin de preparar el cuestionario para su valoración estadística. Las experiencias obtenidas por el GT, sirven como modelo para la preparación de otros instrumentos de investigación educativa institucional.

Se ha llevado a cabo en los últimos años cada vez con mayor interés en la Facultad de Medicina, de la Universidad Nacional Autónoma de México (UNAM), la estrategia de enseñanza Aprendizaje Basado en Problemas (ABP). El objetivo del ABP es familiarizar al alumno con problemas médicos que deben ser estudiados de manera multidisciplinaria y en donde, por estar dirigido a alumnos de los primeros dos años de la carrera, se hace énfasis en el papel de las ciencias básicas para la comprensión del problema. Para lograr esta meta, se integran a los alumnos en pequeños grupos de trabajo, y se procura el desarrollo de ciertas habilidades como son el trabajo grupal, el aprendizaje independiente y el razonamiento crítico. El papel del profesor es el de tutor y facilitador de un proceso en el cual, seis a ocho jóvenes aprenden a asumir la responsabilidad de su propio aprendizaje (3).

La evaluación del rendimiento del estudiante durante las sesiones tutoriales del ABI> resulta difícil por que se tiene que analizar conductas y habilidades de carácter personal. Debido a que existen pocos estudios al respecto, fue necesario desarrollar un instrumento de carácter novedoso, basándose en los propósitos de las sesiones tutoriales en el ABP, la experiencia del GT y las necesidades de los tutores. Varios autores concuerdan en la necesidad de un formato que permita al tutor conocer el progreso del alumno durante las sesiones tutoriales (1,1). De acuerdo con Hay, la evaluación tutorial está basada en la actuación del estudiante en el escenario de aprendizaje, en donde existen actividades que se realizan en grupo y otras que son individuales (6).

 

En la sesión se espera que el alumno aprenda a:

1) Identificar sus necesidades de aprendizaje.

2) Dirigir su aprendizaje utilizando recursos adecuados.

3) Proveer a los demás con muestras de su aprendizaje.

4) Actuar en general en forma responsable.

5) Participar como un miembro colegial del grupo tutorial.

En la elaboración de reactivos que midan estas habilidades, se debe reconocer que las actitudes de un individuo, no son susceptibles de observación directa, sino que su existencia e intensidad deben inferirse de las conductas y los productos que traen los alumnos a las sesiones. Así: a) las actividades intelectuales se valoran a través de explicaciones brindadas durante las sesiones, comentarios y reflexiones, etc.; b) la participación en el grupo se denota por el interés que muestra el alumno en lo que se dice en la sesión, ayudar a los compañeros, etc. y c) su habilidad para el trabajo independiente se pone de manifiesto a través de la calidad del material que trae a las sesiones, lo exhaustivo de la búsqueda bibliográfica, etc. Cuando tratamos de medir actitudes, deseamos que el instrumento proporcione información sobre las características del sujeto y la interacción del sujeto dentro de una situación (Summer, 1984).

El objetivo de este trabajo es describir el método que se empleó para elaborar un instrumento que"mida las actitudes y conductas de los alumnos durante las sesiones de ABP y evaluar su calidad antes de su aplicación piloto y análisis estadístico, y así disminuir el número de reactivos defectuosos que pueden ser eliminados durante el proceso de validación. Por otro lado se explica la labor del GT después del análisis estadístico.

 

MATERIALES Y MÉTODOS

En la realización del instrumento, se tomaron en consideración cuatro áreas fundamentales:

1. Las características y organización del grupo de trabajo y el instrumento a construir.

2. La validez de apariencia o validez de contenido.

3. La revisión de la claridad.

4. La labor del grupo después del análisis factorial.

 

El grupo de trabajo y el instrumento a construir.

Médicos de las ciencias básicas y clínicas, pedagogos, sociólogos y psicólogos, se reunieron para generar un instrumento que evaluara las habilidades y la participación de los alumnos en el ABP. El GT multidisciplinario fue integrado por personal con experiencia práctica en el tema, con experiencia docente y otros con habilidades para la creación de instrumentos de evaluación que faciliten la labor emprendida.

Aunque el número de personas que pueden participar no tiene límite, el contar con un mínimo de ocho a un máximo de 20 profesores, permite la formación de un GT que promueve la incorporación de diversos puntos de vista durante la elaboraci0n del instrumento.

Descripción del proceso:

Las reuniones se llevaron a cabo una vez a la semana siguiendo los siguientes pasos:

1) Familiarizar a los asistentes que desconocen el ABP con su filosofía, su aplicación y la importancia de elaborar un instrumento que permita evaluar los logros de los alumnos durante las sesiones tutoriales del ABP. Para ello se contó con miembros del GT que se formaron como tutores en la Universidad de McMaster y con tutores formados en la propia facultad y junto con ellos, se hizo una revisión de la literatura sobre el tema (8-10). Las frecuencia de las lecturas fue cada semana, resolviendo las dudas que se presentaron.

Se acordó plasmar en un documento los lineamientos básicos de toda sesión tutorial de ABP, como marco de referencia para la elaboración de los reactivos. Este tipo de escrito ha sido reportado como útil por Rojas-Soriano para no perder tiempo, ni alejarse del propósito del estudio (2).

2) La información obtenida, así como la experiencia de la Facultad de Medicina de la UNAM y el programa curricular en el cual se planeó utilizar, sirvieron de base para decidir cuales serían las categorías generales para la evaluación del ABP. No existe un número de categorías específicas, inicialmente dependerá de las áreas que se considere deben ser evaluadas o investigadas. Estas categorías llamadas de "trabajo" deben ser definidas con el fin de tener un marco de referencia claro sobre el cual construir un grupo de reactivos afines a cada categoría.

Por categoría entendemos la formación de una construcción teórica analítica, de atributos que dan cuenta de una realidad (hechos observables), en este caso, se requiere explorar la actuación de los alumnos en diferentes ámbitos dentro de las sesiones tutoriales de ABP, se señala cuáles son las áreas que se desea evaluar y se definen, para luego elaborar los reactivos que permitan investigar exhaustivamente cada área (11).

Según Kerlinger (12) las normas generales para elaborar las categorías incluyen lo siguiente: a) Cada categoría debe estar basada en el problema y propósito de la investigación. b) Cada categoría debe ser en sí exhaustiva. c) Con relación a una categoría con otra, deben ser mutuamente excluyentes e independientes. d) Las categorías deben provenir de un principio de clasificación sea éste por importancia, por el momento en que aparece el objeto de estudio, etc. e) La categoría debe ser escrita en un solo nivel de discurso de acuerdo a quien realiza la acción, cuándo y cómo.

3)Una vez que el GT conoció los principios del ABP, se formaron subgrupos de trabajo (SGT) compuestos por seis a ocho profesionales que trabajaron cada uno de las categorías elaboradas, en reuniones independientes fuera de las sesiones generales, con el fin de traer un mayor número de productos (reactivos, definiciones, referencias, etc.) a la reunión semanal y concluir en un tiempo menor con las labores programadas.

Los reactivos diseñados se ajustaron a los lineamientos generalmente aceptados para su elaboración, poniendo mayor énfasis en las siguientes características:

a) Deben elaborarse como una aseveración y sin incluir observaciones negativas. Ejem: El alumno participa en las sesiones tutoriales (correcto). El alumno no participa en las sesiones tutoriales (incorrecto).

b) Deben restringirse a transmitir una sola idea. Ejem: El alumno debe traer la información convenida (correcto). El alumno debe traer la información convenida y explicarla (incorrecto).

e) Evitar el uso de calificativos ambiguos. Ejem: El alumno aceptó los comentarios de sus compañeros con relación a su trabajo (correcto). El alumno tuvo una reacción favorable a los comentarios que hicieron sus compañeros de su trabajo (incorrecto). En este caso "Favorable" da pie a una interpretación personal poco objetiva del trabajo del alumno.

4) Cada SGT llevaba a la siguiente sesión general los reactivos elaborados. No había un número determinado que entregar.

5) Como el material a analizar resultó extenso, porque fueron tres subgrupos los que participaron en el inicio, se eligieron dos representantes de cada SGT los cuales se reunieron a su vez en otro momento para integrar en un solo grupo los reactivos por categoría. El trabajo de los representantes consistió en: a) Asegurarse que los reactivos entregados correspondieran a la categoría en estudio. b) Evaluar si los reactivos de cada SGT se repiten y séleccionar los mejores, corrigiendo propuestas y de ser necesario, integrándolos en un nuevo reactívo. e) Seleccionar los reactivos que representaran mejor el tema a evaluar por la categoría. d) Elaborar reactivos para cubrir áreas de la categoría no contempladas por los SGT o señalar los faltantes para ser redactados por los SGT. e) Presentar ante el GT los adelantos de integración obtenidos para su discusión lo que frecuentemente llevaba al grupo de representantes a mas reuniones para su corrección.

6) Con los reactivos que fueron aceptados, se procedió a reconsiderar el título dado a la categoría, así como su definición, para adecuarla a los reactivos que la representaban o para determinar si era necesario cambiar un reactivo a otra categoria.

7) Simultáneamente los SGT seguían con la elaboración de reactivos para las demás categorías.

8) Las últimas sesiones generales se utilizaron para integrar un documento de prueba para ser evaluado internamente y luego por jueces externos.

 

Validez de apariencia o de contenido.

La prueba de validez de apariencia también conocido como validez de contenido, muestra si los reactivos del instrumento ejemplifican la categoría, de la cual se desea realizar conclusiones posteriormente. En primer lugar se debe formular las categorías y definirlas, y solicitar a "jueces independientes" que clasifiquen los reactivos en las categorías donde creen que correspondan. Se realiza con la participación de todos los miembros del grupo de trabajo o con la participación de expertos externos al grupo original, que actúan como jueces (13,14).

Esta prueba se utiliza para comprobar si el instrumento, en apariencia, mide lo que se pretende. Es decir, si aquellas personas que la utilizan aceptan lo señalado en los reactivos en forma semejante, lo cual es observable al colocar cada reactivo dentro de una misma categoría. Aunque el concepto de validez de apariencia no es un concepto riguroso, su presencia conjugada con otros sistemas de validez, refuerza la aceptación general por parte de los usuarios del instrumento.

El estudio de validez de apariencia se realiza de la siguiente manera:

1) Se mezclan aleatoriamente todos los reactivos y se solicita que cada miembro del grupo coloque, segun considera en ese momento, los-reactivos en la categoría que mejor explique lo que evalúa.

2) Se analiza el resultado para ver si los reactivos concordaron con la clasificación inicial.

3) Aquellos reactivos ubicados en otras categorías diferentes a las inicialmente consideradas, se vuelven a discutir para conocer el motivo del cambio. Cuando sea necesario se reestructuran los reactivos para favorecer su comprensión y su ubicación correcta. Puede ser necesario definir algunas de las palabras empleadas para que tengan el mismo significado para todos y lograr el acuerdo del 100% de los miembros, con lo que se concluye la prueba de la "validez de apariencia."

 

Revisión de la claridad.

Un procedimiento adicional propuesto por el grupo, útil para comprobar que los reactivos utilizados poseen una redacción comprensible, que permita a las personas que lo van a aplicar, entender la redacción de los reactivos, es la revisión de la claridad. En sí este sistema, no es una prueba de validez que tenga un lugar específico en los libros de elaboración de instrumentos, sino más bien se sugiere para asegurar la comprensión en los reactivos.

Se selecciona a cinco o seis profesores no integrantes del GT que estén familiarizados con la estrategia ABR Para que lean los reactivos y determinen de acuerdo con su experiencia personal lo claro y conciso de cada reactivo. Para ello se les solicitó que calificaran del 1 al 5 cada reactivo, en donde:

(1) No está claro el reactivo. (2) Es poco claro el reactivo. (3) Es suficientemente claro el reactivo. (4) Es bastante claro el reactivo. (5) Está completamente claro el reactivo.

Se les pidió que evaluaran todos los reactivos y se les dio la opción de hacer comentarios sobre los reactivos que no resultaron claros.

 

Validez de constructo.

Al concluir el análisis factorial, el grupo procede a interpretar con apoyo del coordinador logístico, los resultados obtenidos, con el fin de:

1) Determinar las características de los factores (categorías definitivas), que emergieron del análisis.

2) Dar una explicación del porqué ciertos reactivos fueron eliminados y si procede o no su reelaboracion o si su desaparición no afecta el objetivo y la claridad de cada factor.

3) Analizar el reactivo que apareció como "representante" de cada categoría, siendo éste el que tuvo la carga factorial mas elevado, y de donde se procede a:

4) Buscar explicar por qué algunos reactivos cambiaron a otra categoría, con el fin de determinar si se dejaba ahí, o era necesario reestructurar el reactivo para intentar regresarlo a la categoría en donde se creía debería estar.

5) Analizar si es necesario cambiar o dejar el mismo nombre a la categoría, en comparación con la inicial y evaluar si el concepto que se dio, debe ser modificado.

Una vez que los reactivos fueron analizados y modificados (de ser necesario), el grupo pone a disposición de los programas y profesores de la Facultad de Medicina, el instrumento, para su uso durante las sesiones tutoriales de la estrategia Aprendizaje Basado en Problemas.

La labor del grupo continúa, siguiendo los pasos señalados, ahora en la elaboración de un segundo instrumento, para evaluar el papel de los tutores en las sesiones tutoriales del ABP.

 

RESULTADOS

El grupo de trabajo y el desarrollo del proyecto.

Una autoridad institucional convocó a 20 personas a integrar el GT. Esta figura de autoridad, proporciona relevancia y formalidad a las sesiones, y su asistencia y participación es esencial, especialmente durante el periodo de integración e identificación intragrupo. Se explicó el propósito y se procedió a plantear las metas y se permitió al grupo participar en las estrategias para alcanzarlas. Una segunda figura fundamental lo constituyó el coordinador logístico que es un experto en la formación de instrumentos de evaluación y en el análisis estadístico. Una tercera figura fue el coordinador operativo del grupo que convocaba a reuniones, dirigía las sesiones y planteaba los pasos a seguir. Cada miembro del grupo empezó a ocupar un rol determinado: para redactar el documento, para ejecutar las pruebas piloto, para analizar la redacción, la comprensión de los reactivos, así como para mantener el propósito del trabajo a realizar; todo ello dentro de un marco de respeto e interés por el trabajo de grupo.

En las siguientes cinco reuniones se procedió a familiarizar al grupo con la estrategia ABP y el objetivo del instrumento a elaborar. Lo anterior se hizo a través de la lectura de material sobre el tema, discusiones grupales, la opción de asistir a talleres para conocer el método ABP, y los pasos para la elaboración de un instrumento con la presencia de personal preparado para facilitar el desglose de los problemas que enfrentan los profesores para evaluar a los estudiantes.

Durante el proceso de elaboración del instrumento, el GT decidió la creación de tres categorías para evaluar: 1) Interacción grupal, 2) Habilidades de razonamiento y 3) Aprendizaje independiente.

A partir de este momento, cuatro profesores por diversas causas decidieron retirarse del proyecto, quedando 12 participantes para concluir la labor, los que determinaron cuáles serían los productos finales del GT:

1) La elaboración de dos instrumentos de evaluación, uno de la actividad del alumno dentro de la sesión tutorial, para ser usado por profesores de la Facultad de Medicina que trabajan la estrategia ABP; y otro para evaluar el papel del tutor-facilitador dentro de las sesiones tutoriales de ABP según la opinión de los alumnos. Se concluyeron los dos instrumentos, el primero ya validado y en uso por el programa piloto Los Núcleos de Calidad Educativa y algunas Materias de Libre Elección; y el segundo que está en proceso de validación y quedará listo para este año escolar.

2) Dos proyectos de investigación que darían como resultado final un mínimo de dos publicaciones internacionales y dos nacionales. Al concluir el proceso de validación del primer instrumento, se inició la elaboración del siguiente, y aquellos interesados en la redacción para la publicación de los hallazgos obtenidos del primero, procedieron a escribir los artículos.

El tiempo que se dedicó a la creación de cada instrumento fue de siete meses que incluyó el proceso de formación del mismo, así como su aplicación y validación. Para lograr cada instrumento, resullaron necesarias aproximadamente 32 sesiones generales de trabajo, 12 sesiones de SGT y diez sesiones de representantes de los SGT.

 

Validez de apariencia o de contenido.

Para aseverar que un reactivo estaba correctamente clasificado, se buscó que de los 12 profesores del GT por lo menos 11 estuvieran de acuerdo en la categoría, de no ser así se discutió el motivo de la discrepancia y aquellos profesores que no concordaron con el resto del grupo reconsideraron si aceptaban lo que la mayoría optó; en caso de no aprobar las sugerencias de los demás se procedió a modificar el reactivo para aclarar el concepto y poderlo agregar a la categoría deseada, si no se alcanzó el consenso establecido se eliminó el reactivo.

En relación con el instrumento de evaluación del desempeño del alumno durante las sesiones tutoriales de trabajo del ABP, el GT analizó 39 posibles reactivos para clasificarlos en las categorías desarrolladas anteriormente por el grupo, los resultados muestran que 21 reactivos fueron aceptadas por 11 o 12 de los profesores, 8 reactivos fueron corregidos y redefinidos y diez fueron eliminados por confusos, quedando un total de 29 reactivos (Tabla N° 1).

 

Revisión de la claridad.

Una vez determinados los 29 reactivos finales, se procedió a evaluar su claridad.

En el instrumento se incluyeron los reactivos separados por categorías. Cada categoría tenía además de su título, el concepto explicativo de la categoría (Tabla N° 1). Los cinco jueces hicieron comentarios sobre algunos de los reactivos. Cuatro de los reactivos obtuvieron una media por abajo de 4 (la calificación máxima era 5) y fueron modificados. Los comentarios versaron sobre la semejanza entre algunos de ellos, otros hicieron sugerencias para modificar algunos de los verbos empleados y dieron opiniones para modificar algunos reactivos.

El GT analizó los resultados obtenidos y las sugerencias dadas y se realizaron las correcciones necesarias.

 

Validez de constructo.

El instrumento fue piloteado y sometido a un análisis factorial con rotación oblimin, que permite esclarecer a qué categoría (factor) pertenece cada reactivo. El reactivo es considerado "puro", si carga fundamentalmente en un solo factor y no en varios simultáneamente. Si su carga es baja o se encuentra en mas de un factor, significa que no es lo suficientemente claro y puede estar evaluando mas de una categoría lo que lo hace indeseable, así, todos los reactivos que obtuvieron cargas importantes en mas de un factor fueron eliminados.

TABLA N°1.- EVALUACIÓN DEL ALUMNO DEL CURSO ABP. VALIDEZ DE APARIENCIA

Categoría Validez de Apariencia Análisis Factorial

Factores del Análisis Factorial

I. II. III.
CATEGORÍA I. TRABAJO EN GRUPOS.
Concepto: El alumno es capaz de desarrollar habilidades de comunicación y contribuir al trabajo en equipo, mostrando flexibilidad y respeto.
1.Trata con respeto a sus compañeros 12 0 0 0.761 I
2.Se adapta a los diferentes roles o momentos del grupo. 12 0 0 0.777 I
3.Ayuda a sus compañeros a esclarecer sus ideas 12 0 0 -0.740 IV
4.Interviene en la discusión del caso 12 0 0 -0.639 IV
5.Acepta sugerencias con respecto a su desempeño 12 0 0 0.813 I
6.Escucha con atención a todos los miembros del grupo 12 0 0 0.689 I
7.Demuestra habilidades para retroalimentar al grupo con reflexiones, ideas y sugerencias. 12 1 0 -0.741 IV
8.Comparte sus conocimientos con el grupo. 12 2 0 -0.627 IV
9.Cumple con las tareas acordadas en el grupo 11 0 3 0.653 III
10.Asiste puntualmente a las reuniones grupales 11 0 1 eliminada
11.Acepta las decisiones relativas al trabajo a efectuar 12 0 0 0.755 I
12.Expresa con claridad sus puntos de vista. 0.466 I
CATEGORÍA II. HABILIDADES DE RAZONAMIENTO.
Concepto: el alumno es capaz de identificar, ampliar, analizar y jerarquizar la información, para delimitar y comprender el caso a través de explicaciones fundamentadas.
1.Esclarece hechos, conceptos y terminología 8 6 0 -0.578 II
2.Propone hipótesis de trabajo 0 12 0 eliminada
3.Presenta en forma organizada la información relacionada con el caso 1 11 0 0.824 III
4.Identifica información relevante al caso 0 11 2 -0.498 II
5.Identifica sus necesidades de aprendizaje 1 8 4 -0.882 II
6.Analiza los elementos del caso 0 12 0 -0.669 II
7.Acepta o rechaza con fundamento la(s) hipótesis 0 12 1 -0.769 II
8.Formula preguntas relacionadas con el caso 1 12 0 -0.812 II
9.Comprende la información que expone 0 12 2 eliminada
10.Plantea problema(s) relacionados con el caso. 0 12 0 eliminada
CATEGORÍA III. APRENDIZAJE INDEPENDIENTE.
Concepto:el alumno muestra motivación y desarrolla habilidades para realizar sus actividades de aprendizaje personal.
1.Utiliza los recursos disponibles para obtener información. (biblioteca, profesores, sedes hospitalarias, revistas, etc.) 0 1 11 0.680 III
2.Utiliza material adicional al sugerido por los programas. 0 0 12 0.836 III
3.Muestra curiosidad por conocer más 0 1 12 0.808 III
4.Es perseverante en el estudio del caso 0 0 12 0.812 III
5.Desarrolla un plan de actividades para el logro de los objetivos de aprendizaje. 0 4 8 0.775 III
6.Demuestra iniciativa en la búsqueda de información 0 0 12 0.706 III
7.Demuestra iniciativa en el estudio del caso. 0 1 11 0.717 III
n=140

Los resultados arrojaron un total de 24 reactivos validados con cargas mayores de .45 en los siguientes 4 factores: I. Trabajo grupal, II. Habilidad de razonamiento, III. Aprendizaje independiente, IV. Actividad participativa. De los 5 reactivos eliminados, observamos que por el sistema validez de claridad la media mínima que obtuvieron fue de 4.4. Con relación a la validez de apariencia, de los 24 que permanecieron, 16 fueron aceptadas por los 12 participantes de la evaluación, 4 por 11 participantes y 4 fueron modificadas substancial mente. En la primera categoría, de los 12 reactivos que la conformaron, 1 fue eliminado y 4 cambiaron a la categoría IV y uno cambió a aprendizaje independiente. De los 10 reactivos de la categoría II, 3 fueron eliminados y 2 cambiaron a la categoría II y III. De la categoría III los 7 reactivos ahí contemplados permanecieron sin cambio.

 

La labor del grupo de trabajo después del análisis estadístico.

Se observó que las tres categorías de trabajo propuestas permanecieron después de análisis. La categoría de grupo se dividió en dos, un factor nombrado Participación Activa y otro que permaneció como Interacción de Grupo.

Al estudiar el por qué algunos reactivos fueron eliminados se encontró que uno de ellos se refería a la puntualidad de los alumnos, y los 4 restantes o cargaron en forma semejante en mas de una categoría o su carga factorial quedó por abajo del nivel que se aceptó con mínimo (.45).

Al analizar el reactivo "representante" de cada categoría, así como los reactivos que formaron cada factor, el concepto explicativo de la categoría sufrió solo pequeñas modificaciones en dos de ellas.

El que algunos reactivos cambian de categoría, hizo reflexionar al grupo sobre su efecto en el objetivo del trabajo, concluyendo que no modificaban el propósito del instrumento.

 

DISCUSIÓN

El grupo consideró que contar con el apoyo institucional para el proyecto favoreció el interés en participar. Las tres figuras jerárquicas funcionaron como los engranes del grupo, fomentando sin interponerse en el trabajo de grupo. Su actuación como autoridades racionales que participaron activamente, estimularon y conjuntaron lo mejor de cada integrante. No hubo rivalidades, ni la sensación de que algún miembro dominaba más que otro, sino que era aceptable que el mejor conocedor del tema del día, ocupara el lugar central, para cederlo a otro en otro momento.

Conviene iniciar un grupo con un número mayor al necesario, con el fin de dar oportunidad a aquellos que por su trabajo y la frecuencia de las reuniones no pudieran asistir en forma regular y darles así la oportunidad de retirarse del grupo. Cuando el grupo es elegido con un número muy reducido de participantes, es más fácil que se desintegre al salirse algunos de sus miembros. Esto es especialmente cierto en grupos multidisciplinarios.

Resultó ser un estímulo importante para el grupo el realizar investigaciones concomitantemente con la elaboración del instrumento de evaluación del ABP, en especial porque en el caso del primer instrumento, se encontró una sola escala publicada en el ámbito internacional (1) que hubiera sido validada, pero resultó ser larga (44 reactivos) y por ende poco práctica para ser empleada por los tutores. En el caso del segundo instrumento, aunque existen métodos para evaluar la actuación del profesor dentro de las sesiones tutoriales, los estudios muestran algunas diferencias en el tipo de reactivos empleados así como en las categorías a evaluar, lo que implica que también será importante procurar su publicación en el ámbito internacional.

La revisión de la claridad sirvió para que los profesores del ABP se sintieran tomados en cuenta para la elaboración del instrumento y que con sus correcciones hubo mayor claridad en el mismo.

Los reactivos elaborados para la categoría III, Aprendizaje Independiente mostraron que no hubo eliminados, es decir resultó más fácil reconocer los factores a evaluar durante el aprendizaje independiente probablemente porque se tradujo en hechos observables como el uso de recursos disponibles, sus preguntas en clase, la redacción de los planes de trabajo para lograr sus objetivos. En cambio en la categoría II Habilidades de razonamiento, se hicieron el mayor número de modificaciones, probablemente porque por un lado, resulta poco claro reconocer durante la sesión los elementos del pensamiento del alumno y que lograr también que todos los profesores tengan el mismo concepto de razonamiento. En la categoría I -Trabajo en grupo- se observo que 4 reactivos fueron asociados con un nuevo factor "participación activa", que a pesar de mostrar ser parte del trabajo de grupo, implica una maypr intervención del alumno como fue el ayudar a sus companeros a esclarecer sus ideas, en donde la ayuda a los compañeros (trabajo en grupo) implica una actitud mas activa por parte del alumno.

A pesar de que cinco de los reactivos incluidos en el estudio piloto, fueron eliminados durante el análisis factorial, la carga factorial que obtuvieron los demas , resultaron elevados, pues frecuentemente estudios de este tipo tienden a aceptar reactivos cuya carga factorial se encuentra hasta en .32, en este estudio no se aceptó ninguno por abajo de .45. Este fenómeno se puede explicar por el trabajo de revisión minucioso en varias ocasiones de cada reactivo. De los cinco eliminados, el referente a la puntualidad de los alumnos, siempre ha sido difícil validar, en otros estudios se tiene que excluir, probablemente por la idiosincrasia propia de nuestro pueblo, que no tiene un concepto uniforme de lo que es la puntualidad. Los resultados también muestran la aparición de factores puros con un alto nivel de confiabilidad que redundó en la obtención de un buen instrumento desde su aplicación piloto.

 

CONCLUSIONES

La utilidad de un trabajo grupal multidisciplinario bien organizado, que realiza pruebas preliminares de validez de contenido, se puede demostrar con la calidad de los reactivos que emergen, así como en un numero bajo de reactivos que tienen que ser eliminados después del análisis factorial.

 

AGRADECIMIENTOS

Se agradece el apoyo del Dr. Enrique Piña Garza en el desarrollo de este estudio.

 

1 Coordinación de Enseñanza de la Facultad de Medicina.
2 Dirección General de Evaluación Educativa.
3 Dirección General de Estudios de Posgrado.
4 Sistema de Universidad Abierta.
5 Dpto. de Farmacología. Facultad de Medicina.
6 Secretaría de Enseñanza Clínica, Internado y Servicio Social. Facultad de Medicina. Universidad    Autónoma de México

 

Ver Bibliografía

 

__________________________________
Correspondencia:
Dra. Ileana Petra Micu
Río M¡xcoac 66-402
Col. Del Valle
3 100 México, D. E México
E-mail: petra48 @servidor unam. nix