RESUMEN Los autores examinaron el propósito operacional de 48 ítemes que establecen los criterios de acreditación para la enseñanza, aprendizaje y evaluación en una Facultad de Medicina, y determinaron en que extensión se aplicaban estos criterios por parte de las facultades y de los evaluadores locales en 59 programas evaluados por el Comité de Consenso sobre Educación Médica (LCME) en el periodo 1994-1996. En este estudio, «aplicación» significaba que se ofrecía la evidencia, aunque esta no necesariamente probaba cumplir con el criterio. as fuentes de Información empleadas fueron las bases de datos de educación médica y las autoevaluaciones preparadas por las facultades que se estaban sometiendo a los estudios de acreditación, y los reportes preparados por equipos ad hoc de evaluadores. Para cada una de las 48 facultades solicitantes de acreditación, se determinó la frecuencia con que ofrecían evidencias de cumplimiento de los criterios verificadas por los evaluadores. Además, en cuanto al disentimiento de las facultades evaluadas con los criterios, los autores compararon los patrones de los Informes elaborados por los inspectores en las evaluadas durante el período 1984-1986 y las visitadas entre 1994-1996. En 1994-1996, las facultades enviaron 42 de las 48 solicitudes de acreditación en el 90% o más de los casos. Las áreas de atención particularmente bajas estuvieron en relación con la definición y comunicación de los objetivos educacionales (47% de las facultades brindaron evidencias), la autoridad del cuerpo docente y el control de los programas académicos en las clínicos afiliadas (12%), y el compromiso del cuerpo docente con la eficacia y el conocimiento de la pedagogía, del diseño curricular y de los métodos de evaluación (8%). Los equipos de inspección, en cambio, dieron cuenta en sus reportes de sólo 26 (55%) de los criterios durante el mismo periodo de tiempo. Entre los enviados menos frecuentemente, estuvieron la definición y comunicación de los objetivos educacionales por parte de las facultades (constituyendo el 59% de los reportes); la evaluación de la capacidad de los estudiantes para solucionar problemas (51%); la comparabilidad de las experiencias educacionales y e a evaluación de los estudiantes en las distintas sedes de enseñanza (49%); el conocimiento por parte del cuerpo docente de la pedagogía, la construcción curricular y la evaluación de los estudiantes (8%); la autoridad y el control de los programas académicos por parte de los profesores en las clínicas afiliadas (7%); y el conocimiento de los métodos para medir el desempeño de los estudiantes por parte de la administración y el cuerpo docente (2%). En la última década, los puntos más frecuentemente citados por los evaluadores acerca del disentimiento de las facultades con los criterios de acreditación tienen que ver con lo referente a consejerías y servicios de salud para los estudiantes, a recursos de financiamiento, espacio e infraestructura institucional, a aspectos de la plana docente y la libertad de acción del decanato y las posiciones de los presidentes de los departamentos. La preocupación siguiente, en orden, trató lo referente a varios aspectos del programa educacional que conduce al grado de MD (Medical Doctor). Entre los puntos importantes del programa educacional que aumentaron significativamente durante la última década, estuvieron los referidos al diseño, manejo y evaluación de la currícula; a las experiencias de atención primaria y ambulatoria; y a las políticas de avance estudiantil y aspectos relacionados. Las facultades prestaron mucha atención a la mayoría de los 48 estándares, en gran parte debido a que estaban apremiadas por la formación de la base de datos de educación médica y de los protocolos de autoevaluación. En aquellos casos de menor aplicación, la falla reposaba tanto o más en las ambigüedades presentes en la construcción y en el objetivo de los criterios que en la lenidad institucional. La dejadez de los evaluadores para con los criterios de acreditación es más preocupante. En algunos casos, ésta puede atribuirse a incertidumbres acerca del significado de los requerimientos y de las cantidades que se necesitan para ser reportado, o a que los inspectores pueden conformarse al alcanzar un umbral de «cumplimiento sustancial», sin lograr el total de las evidencias. Los autores argumentan que muchos de los criterios que estuvieron poco aplicados en las inspecciones, son importantes para el desarrollo del programa educativo y del control de calidad. El LMCE necesitará considerar si deben darse definiciones más esclarecidas y resaltadas en cambio de estos criterios que habían sido dejados de lado, o si algunos de los requerimientos están al margen como indicadores de calidad. Una inspección planificada de los grupos implicados ?educadores, médicos, estudiantes, graduados y encargados del programa de residencia, entre otros? podría ayudar a confirmar la validez de los criterios y su importancia para la educación médica. Correspondencia:Dr Donald G. Kassebaum Facultad de Medicina- UNMSM Av. Grau 755 Lima - Perú
Poco después del último cambio de siglo, tanto la Asociación Médica de Norteamérica (AMA), como la Asociación de Colegios Médicos de Norteamérica (AAMC), empezaron a inspeccionar a las facultades de medicina y aplicaron sus criterios tal cual asumieron su forma definitiva allá por 1910. La obra «Lo Esencial de un Colegio Médico Aceptable» se publicó en ese año por el Consejo de Educación Médica de la AMA, y cubrió un limitado número de puntos:
Durante la misma época, la constitución y los estatutos de la AAMC incorporaron la mayoría de estos requerimientos para los colegios asociados, pero detallaron más los requerimientos de la currícula: cuatro años de estudios de no menos de 32 semanas de duración (algo bastante raro, un criterio que nunca antes se había ratificado ?o cuestionado? hasta ese momento); el número mínimo de horas de lectura, de laboratorio y de práctica clínica requerido para cada curso; y el número mínimo de camas hospitalarias y de pacientes para cada estudiante del último año (2 camas, 50 pacientes de consultorio y cinco pacientes de tipo obstétrico). En 1942, la AMA y la AAMC combinaron fuerzas para la acreditación de las facultades de medicina de los EE. UU., estableciendo el Comité de Consenso sobre Educación Médica (LCME). Con el paso del tiempo, el LCME y sus patrocinadores, la AMA y la AAMC, añadieron más detalles a los criterios de acreditación. Con el advenimiento del reconocimiento del LCME por parte del Consejo de Acreditación postsecundaria y el Departamento de Educación de los EE. UU., se establecieron una buen número de criterios adicionales para cumplir con los requerimientos de estas dos autoridades, cuyas autorizaciones confirieron el rango nacional de acreditación postsecundaria (y en el caso del Departamento de Educación, la elegibilidad de las facultades acreditadas para participar en los programas federales). Y las convocatorias nacionales para la reforma en la educación médica en las décadas de los 80's y 90's evocaron varias series más de criterios. Por el año de 1996, la LCME había publicado criterios para 156 ítemes de estructura y función, que «deben» o «deberían» estar presentes en un programa de educación médica acreditado. Alrededor de la tercera parte de los criterios se referían a aspectos de la enseñanza, aprendizaje y evaluación de los estudiantes y al programa educacional. Mientras que los indicadores de cumplimiento eran evidentes por sí mismos en muchos de los criterios que se habían acumulado a lo largo de los años, este no era el caso para otros. Algunos criterios de acreditación más parecían ser informes de acuerdos, que ítemes mensurables de estructura, función o desempeño. Más aún, nuestra experiencia con el proceso de acreditación sugiere que algunos criterios tienden a ser malentendidos o ignorados más que otros, tanto por las facultades al compilar las evidencias de su cumplimiento, como por los equipos de evaluadores en el acto de contabilizarlos o revisarlos. Para evaluar la posibilidad de generalizar estas percepciones, hemos definido (o imputado) el objetivo operacional de cada uno de los requerimientos de acreditación para la enseñanza, el aprendizaje y la evaluación en las facultades de medicina, y hemos observado la forma en la que las facultades han proporcionado las evidencias de cumplimiento de los criterios de acreditación a quienes realizaban el estudio. Hemos examinado la consistencia con la cual los equipos de evaluación han revisado y dado cuenta de las evidencias en sus reportes finales. Y hemos realizado un escrutinio del patrón de disentimiento de las facultades visitadas al comienzo y al final de la década pasada según consta en los informes de los equipos de inspección.
SUMINISTROS DE DATOS Y MÉTODOS En la preparación para las inspecciones de acreditación, una facultad compila un catálogo de información acerca de su estructura, función y desempeño (la «base de datos de educación médica») y completa una autoevaluación institucional. En esta tarea, la facultad es guiada por las normas de la LMCE y el formato preimpreso de la página de la base de datos que requiere de respuestas a las preguntas y el ingreso de datos al registro de cantidades y declaraciones con el fin de completar los criterios de acreditación. Un equipo de inspectores revisa luego la base de datos y la autoevaluación de cada facultad, lleva a cabo una visita a ésta y aporta evidencias ?a partir de sus propias observaciones y de los datos administrados por la facultad? aplicables a cada criterio de acreditación. El equipo compila sus hallazgos en un reporte que sirve como base para el juicio de la LCME sobre el cumplimiento del programa en cuanto a los criterios de acreditación. Para los propósitos de este estudio, identificamos los 48 ítemes criterios de acreditación de la LCME para la enseñanza, aprendizaje y evaluación en las facultades de medicina (véase la lista 1). Estos ítemes incluyen criterios individuales que aparecían de manera consistente en las «Funciones y Estructura de una Facultad de Medicina» entre 1994 y 1996, y elementos de criterios compuestos que estaban separados con el objeto de dar cuenta de la atención puesta individualmente a cada uno de ellos por parte de las facultades y de los inspectores. Los indicadores de cumplimiento por parte de cada uno de estos criterios, se identificaron y revisaron contra la evidencia que las 59 facultades de los EE. UU. estudiadas en este periodo habían hecho en los registros de sus bases de datos y en su autoevaluación institucional en el periodo previo al estudio. Se revisaron los reportes de inspección de cada facultad buscando las evidencias encontradas por los evaluadores en cada una de ellas. Cuando se mencionaban los indicadores en los documentos previos a la inspección o en los reportes del evaluador, se registraba una marca «check» en la hoja de registro del estudio; si no se hallaba la evidencia. Se registraba un «falta». En este estudio de la aplicación de los criterios, se daba crédito a la facultad o al equipo de inspectores cuando se citaban las evidencias para cada criterio, independientemente de si las evidencias constituían necesariamente una prueba de su cumplimiento. De las 59 facultades consideradas en este estudio, 37 eran públicas y 22 privadas. Todas las facultades habían sido sometidas a inspecciones de acreditación que las habían conducido a la prolongación de su acreditación completa incondicional para el período de siete años en los que estarán vigentes los criterios. Se excluyó a las escuelas que estaban bajo sanción.
RESULTADOS Complementando y Ampliando los Criterios De cerca de una docena de ítemes en 1910, la lista de criterios de acreditación fue creciendo con los años hasta llegar a los 156, en 1995 (aunque es difícil de precisar su cantidad porque algunos de éstos tienen cláusulas compuestas por función, estructura y desempeño ver antes «Suministros de Información y Métodos»). Las ampliaciones, que fueron iniciadas por el LCME y avaladas por las juntas patrocinadoras del AAMC y del AMA, ayudaron a mejorar la calidad de la educación de diferentes formas: incorporando a la currícula asignaturas que están adquiriendo importancia, fortaleciendo la influencia del decano en el diseño y la gerencia de la currícula, haciendo que los educadores pongan mayor atención en ayudar a los alumnos a que adquieran experiencias, actitudes y conductas, esenciales, así como conocimiento necesario para la práctica de la medicina, estimulando el perfeccionamiento de la pedagogía y el progreso del aprendizaje en adultos, insistiendo en el desarrollo de criterios para la preparación y adiestramiento del cuerpo docente por parte de las facultades, y estableciendo criterios que deberían encontrar las escuelas cuando evalúen el avance de los estudiantes y la eficacia de la currícula. Hasta mediados de los 70, los criterios de acreditación del LCME identificaban situaciones o cantidades que «deberían» existir. Recién a partir de 1975 los criterios contienen distinciones entre los que «deberían» obtenerse y los que «deben» estar presentes. Sin embargo, en algunos aspectos, esto creó una distinción sin ninguna diferencia de fondo, ya que los certificadores trataban un «debería» como si fuera un "debe a menos que existan razones que obliguen a lo contrario".
CRITERIOS ENVIADOS POR LAS FACULTADES De los 48 criterios bajo consideración en este estudio, 42 fueron enviados en la base de datos de educación médica y la autoevaluación por más del 90% de las 59 facultades supervisadas durante el período 1994-1996, razón por la cual se tomaron para el estudio. Se consideró el 90% como límite inferior, aunque de una forma algo arbitraria, tanto para evitar un estimado razonable del error accidental y la omisión, y porque hubo una diferencia bastante marcada en el grado de cumplimiento de los criterios individuales. Las facultades mostraron un menor cumplimiento en seis criterios. La Figura 1 representa los porcentajes de las facultades que enviaron evidencia de aplicarlos. El 88% de las facultades proporcionó datos acerca de que el Secretario de Asuntos Académicos tuvo recursos y autoridad suficiente para llevar a cabo el manejo de la currícula. El 85% proporcionó evidencia de que las experiencias educacionales y las evaluaciones de los estudiantes eran comparables entre las sedes de instrucción clínica. Las bibliotecas, las facilidades de estudio y los salones de clase fueron suficientes en el 69% de facultades. El 47% definió sus objetivos educacionales y los hizo conocer al cuerpo docente y a sus estudiantes. Sólo el 12% de escuelas proporcionaron evidencia de que, en los acuerdos de afiliación con los hospitales y clínicas, los miembros del cuerpo docente mantenían la autoridad sobre los programas académicos. Sólo un 8% de las escuelas tenían pruebas de que sus docentes estaban comprometidos con producir profesores eficaces y con comprensión de la pedagogía, del diseño de la currícula y de los métodos de evaluación.
CRITERIOS ENVIADOS POR LOS INSPECTORES Los inspectores proporcionaron sólo 26 de 48 criterios en el 90% o más de las 59 facultades que fueron visitadas entre 1994-1996. Con un alto grado de consistencia, los inspectores dieron razón del nivel organizativo de la facultad (dentro de la universidad o como ente solo) de las calificaciones del decano o del Consejo de Facultad; de la organización del cuerpo docente o de los campos clínicos: de los cursos de ciencias básicas principales y las secretarías: del sistema para evaluar la eficacia de los programas educacionales: del cuadro de aspirantes y su selección, y el progreso académico de los estudiantes: del financiamiento de las facultades médicas, su tamaño, las infraestructuras, la biblioteca y los recursos educativos: y de los recursos para proporcionar educación clínica en los ambientes hospitalarios y en la atención ambulatoria. La evidencia de cumplimiento (o disentimiento) para las otras 22 normas se citaron en los reportes de inspección con frecuencias variables, como se muestra en la Figura 2. Los inspectores encontraron evidencia de responsabilidad institucional integrada para el diseño y manejo de una currícula coherente y coordinada en el 88% de los lugares evaluados. En la Figura 2, donde se muestran los datos en orden decreciente de frecuencia, se observa que en el 80% de las escuelas se afirma que la facultad creó en los estudiantes la capacidad de aprender de forma autodidacta, continua o independiente. En el 73% de las escuelas existía evidencia de que los residentes estaban informados acerca de los objetivos educacionales y de sus papeles como profesores y evaluadores. El sistema de evaluación de los estudiantes recibió atención variable. Se encontró que los exámenes valoraban el aprendizaje cognitivo en más del 90% de las escuelas (no mostrado en la Figura 2), el dominio de las aplicaciones prácticas de las ciencias básicas en el 88%, pero solo el 51% evaluaban la capacidad para emplear estos datos en la resolución de problemas reales. Para los inspectores, la evaluación sistematizada de los conocimientos prácticos esenciales en clínicas y de las conductas, empleando la observación directa del desempeño de los estudiantes, fue evidente en solo el 73% de las escuelas, y solo el 8% mostró que los miembros del cuerpo docente tenían la capacidad de ser profesores eficaces y estaban actualizados en cuanto a conocimientos sobre pedagogía, elaboración curricular y evaluación estudiantil. Peor aún, solo en 2% de los reportes se encontró evidencia de que la administración y los docentes tenían conocimiento de los métodos de calificación del desempeño estudiantil, de acuerdo con los objetivos establecidos y los reglamentos nacionales. En un momento en el que las afiliaciones clínicas estaban proliferando, sólo se examinaron los acuerdos escritos entre la facultad médica y las organizaciones clínicas en el 56% de las inspecciones, más sólo se mostró la documentación con la que el cuerpo docente de la facultad médica asume la autoridad de los programas académicos en las clínicas afiliadas en el 7% de los casos. En el 64% se confirmó expresamente lo adecuado de los recursos educativos para los estudiantes en los hospitales docentes afiliados.
Ver Estándares de la LCME para la Enseñanza, Aprendizaje y Evaluación en las Facultades de Medicina
CAMBIOS EN EL PATRÓN DE LOS INFORMES DE ACREDITACIÓN DE 1984-1986 A 1994-1996. El equipo de evaluadores ad hoc que ha revisado una base de datos y una autoevaluación de la facultad, y ha llevado a cabo una inspección in situ, incluyó en su reporte al LCME una lista de resumen de la eficacia del programa y el informe del equipo acerca de las fallas en el cumplimiento de los criterios de acreditación. La Tabla 1 compara el patrón de los informes de acreditación para las 32 escuelas en la inspección del período julio 1984 a junio 1986 con los del período julio 1994 a junio 1996. Los ítemes de los informes mostrados en esta tabla corresponden a los criterios individuales (por ejemplo, el requisito que pide que una facultad defina sus objetivos educacionales) o para conjuntos de criterios en un área determinada (por ejemplo, el diseño, manejo y evaluación de la currícula). En este último caso, para una facultad dada, pueden citarse más de un ítem del grupo. La frecuencia de las citaciones se calculó dividiendo el número de citaciones para cada punto individual por el total de facultades sometidas a inspección en cada período. Los principales puntajes obtenidos en dos ocasiones durante la década han sido en cuanto al apoyo a los estudiantes (consejería y servicios de salud); a los recursos financieros institucionales y la disposición de espacio/infraestructura; y los asuntos del cuerpo docente (tamaño, indemnización, sueldo y promoción, desarrollo de la enseñanza práctica y de la profesión); y la libertad de acción del decanato y las posiciones de los presidentes de los departamentos. Lo siguiente en orden fueron los puntos acerca de las orientaciones de los programas educacionales que llevan al grado de MD.
En el período 1984-1986, el promedio de puntos por escuela fue 7,4. En 1994-1996, el promedio fue 8,3. Entre los puntos de mayor importancia, en cuanto al programa educativo, que aumentaron significativamente en el transcurso de la década pasada, están aquellos que tocan el diseño, manejo y evaluación curricular (de cerca de una citación por cada tres facultades en esta área, a una citación por cada facultad); las experiencias en atención ambulatoria y cuidado primario (un incremento de siete veces); y las políticas de avance estudiantil y aspectos relacionados. Disminuyeron el número de puntos acerca de la lectura excesiva y la densidad curricular, mientras hubieron más citaciones por deficiencias en la calificación de conocimientos clínicos prácticos y estructurados. A lo largo de este período disminuyeron las críticas contra cursos individuales y contra las secretarías, de la misma forma que las citaciones acerca de la idoneidad de los residentes como profesores. También disminuyeron significativamente los relacionados con los criterios de admisión y la calidad de los aspirantes, una tendencia interesante teniendo en cuenta el interés creciente por la diversidad. Hubo menos citas en las inspecciones de 1994-1996 que en las de 1984-1986, acerca del número de pacientes, la disponibilidad de recursos clínicos y de las relaciones de afiliación.
En ambos períodos, los puntos acerca de los objetivos educacionales de las facultades fueron desatendidos, pero hubo un aumento en lo concerniente a la planificación estratégica. Existieron incrementos modestos en los informes de los inspectores en cuanto a la relación del decano de la facultad médica con la máxima autoridad del centro médico o de la universidad, y en cuanto a la sistematización de los, papeles de los administradores, el cuerpo médico y los comités permanentes. En la comparación a lo largo de los años, aumentaron los informes de los inspectores acerca de la ayuda financiera para los alumnos y de sus obligaciones (deudas), de la diversidad de las rentas, de los recursos de biblioteca y computadorizados, y de las investigaciones de los profesores y las becas. Crecieron los informes acerca del tamaño del cuerpo docente, sueldos, promociones y desarrollo de la enseñanza práctica durante la década, pero decrecieron en el período 1994-1996.
DISCUSIÓN CUMPLIMIENTO DE LOS CRITERIOS DE ACREDITACIÓN Por las facultades. En este estudio, las facultades aplicaron fielmente 42 de los 48 criterios. En gran parte, esto se debió a que estaban inquiridos a suministrar evidencia de cumplimiento mediante las páginas formateadas de la base de datos de educación médica, y por el modelo de cuestionario orientado en la autoevaluación institucional. Seis criterios de acreditación fueron menos aplicados que los demás. La falla de más de la mitad de escuelas en identificar sus objetivos educacionales, un hallazgo reportado en un estudio hecho en los inicios, parece deberse a una incomprensión de los términos: Cuando se pide en la base de datos de educación médica que enumeren los objetivos institucionales para el programa educativo que lleva al grado de MD, la mayoría de las escuelas envían un informe de sus misiones y metas institucionales -a pesar que la base de datos preveía esta confusión definiendo "objetivos" como el resultado del aprendizaje (conductas terminales) que se espera adquieran los estudiantes. En otros casos, las facultades simplemente no envían información sobre los criterios. Por ejemplo, la Guía para la Autoevaluación Institucional del LCME pide a las facultades que respondan muchas preguntas: "¿Los métodos de evaluación son congruentes con los objetivos del aprendizaje... ?" "¿Existe un programa formal para el incremento de práctica de la enseñanza?" "¿Cómo garantiza usted las calificaciones de los médicos que laboran en el hospital para... la enseñanza y evaluación de los alumnos de medicinal?" "¿Cómo prepara a estos docentes para su papel en la enseñanza?" A pesar de esta exigencia, sólo un 8% de las facultades muestran evidencia de que el cuerpo docente conocía cómo construir una currícula acorde con los objetivos educativos, y tenía una comprensión de la pedagogía y de los métodos de evaluación del desempeño de los estudiantes. De modo particular, al mismo tiempo que la educación clínica está expandiéndose desde el campo primario y debería hacerlo más, discutiblemente un 69% de las facultades de medicina delegan la responsabilidad de la infraestructura de las bibliotecas, lugares de estudio y salones de clase a la instituciones afiliadas, y asumen la dirección y el control de los programas académicos en los hospitales afiliados sólo un 12% de casos. Por los equipos de evaluación. Los educadores y los médicos en los equipos de evaluación ad hoc son conducidos de diversas formas en sus estudios de la conformidad de las facultades con los criterios de acreditación. Al igual que las facultades, ellos han recibido una copia de las «Funciones y Estructura de una Facultad de Medicina» y también tienen la «Guía para Escribir un Reporte de Inspección», los que detallan las indicaciones y los «pruebas de auditoría» para ser documentados con las normas. Los integrantes de este grupo de estudio han sido instruidos en la interpretación de los criterios y de la evidencia de cumplimiento, y han revisado la base de datos de educación médica de las facultades y la autoevaluación. Además, los integrantes tienen los últimos avances sobre la realización de visitas locales para hacer sus propios cuestionamientos, hallar la evidencia y asegurar la mejor supervisión de los criterios. A pesar de esto, los inspectores citaron evidencia del cumplimiento con 22 de los 48 criterios para enseñanza, aprendizaje y evaluación, en un grado altamente variable. Los inspectores prestaron atención al enunciado de objetivos educacionales en sólo un poco más de la mitad de las facultades evaluadas, estableciendo por informes los objetivos y misiones institucionales aun cuando la valoración de la eficacia del programa educacional ?no la alusión del hilvanado educacional para conseguirlo? no es posible sin definir primero los resultados esperados del aprendizaje. Los inspectores se inclinaban a poner, de lejos, estricta atención a la enseñanza y educación tradicional, pero no le dieron la misma atención a algunos ítemes de alto contenido y valor. En más de una cuarta parte de los lugares visitados, los reportes de los inspectores no informaron sobre el aprendizaje de principios éticos por parte de los estudiantes, o sobre la evaluación estructurada de sus habilidades en la práctica clínica. La mitad de las veces, ninguna evidencia indico que los estudiantes fueran examinados con respecto a su habilidad para usar datos en la resolución de problemas reales. Como las facultades, los inspectores citaron escasa evidencia de que la comprensión de la pedagogía, la construcción de la currícula y los métodos de evaluación estudiantil por parte del cuerpo docente, estuvieran vinculados a los objetivos instruccionales. Tanto las facultades como los inspectores le pusieron un grado variable de atención a ítemes como la organización, el control y la autoridad de los docentes dada a los programas académicos de las clínicas afiliadas. Hay tres posibles razones por las que los inspectores no han informado un criterio en sus reportes escritos. Primero, el criterio puede ser ambiguo y no tener indicaciones claras. Segundo, los evaluadores pudieron haber obviado la revisión del criterio por olvido o por que no encontraron la evidencia. Tercero, los inspectores pudieron haber confirmado la evidencia pero no citarla en los reportes cuando era obvio que coincidían con el criterio. La confusión acerca del significado de "objetivos educacionales" y la ausencia de indicadores para la comprensión de la pedagogía, construcción de la currícula y método de evaluación estudiantil por parte del personal docente pueden ser ejemplos de la primera posibilidad. También es posible que el uso de exámenes nacionales estandarizados -el USMLE y las pruebas del National Board of Medical Examiners- como indicadores de las logros de los estudiantes, haya entorpecido el propósito de los inspectores (y de las facultades) de evaluar la competencia y utilidad de otros métodos evaluación utilizados por los docentes. Parte del problema reside también en que los evaluadores asumen que las pautas importantes están recopiladas en la base de datos o en la autoevaluación, y que los criterios sin la información correspondiente en estos suministros son de menor importancia. Indudablemente, un factor en la investigación incompleta de toda la evidencia tiene que ver con el alcance y la complejidad de la evaluación de acreditación y el esfuerzo limitado que los inspectores son capaces de realizar; los evaluadores pueden asumir que han recolectado suficiente evidencia de la calidad de un programa dado en una facultad de medicina sin recabar mas detalles. Uno de nosotros (DGK) que ha servido como secretario de un grupo en 50 o mas visitas durante casi una década, esta convencido de la variabilidad en la recolección de detalles en los escritos remitidos por los inspectores.
RELACIÓN ENTRE LOS PATRONES DE LOS INFORMES CITADOS Y LA ATENCIóN DE LOS INVESTIGADORES PARA CON LOS CRITERIOS Por mucho, los puntos más frecuentemente citados en cuanto al cumplimiento con los criterios de acreditación fueron también los ítemes a los que dieron mayor importancia los inspectores. Al otro extremo, una cantidad de criterios que recibieron poca atención por los inspectores fueron poco o casi nunca citados como importantes -por ejemplo, la definición de los objetivos educacionales de las facultades, los acuerdos suscritos con los hospitales afiliados, y la autoridad del cuerpo docente de la facultad sobre los programas de enseñanza; el uso de exámenes para evaluar la capacidad de los estudiantes de resolver problemas reales; los conocimientos de los docentes acerca de la pedagogía, construcción de la currícula y los métodos de medir el desempeño estudiantil. Esto hace surgir la pregunta sobre si las áreas que no atraen el interés a los inspectores son realmente evidentes o simplemente han sido evaluados inadecuadamente.
¿QUÉ SUCEDE REALMENTE? En 1910, habían cerca de una docena de normas, de acreditación relacionadas con la enseñanza, aprendizaje y evaluación en las facultades médicas. En 1995 habían 48 (aproximadamente) pero los evaluadores pusieron atención solo al 55% de ellos. Ya que el LCME toma las decisiones acerca de la Acreditación en la ausencia de los datos completos para todos los criterios, es razonable pensar que los ítemes "faltantes" contribuyeron sólo marginalmente (si lo es en modo alguno) a los dictámenes, y deberían ser eliminados para simplificar el proceso. Después de todo la acreditación es conseguida cuando un programa está en esencia (lo que significa ampliamente pero no totalmente) de conformidad con los criterios. Sin embargo en los informes dados por los inspectores, algunos de los criterios a los que se peso poca atención, puede ser de valor para los programas de educación de manera que contribuiría con los requerimientos para la acreditación. La falta en definir aprendizaje específica y mensurablemente llevaría a frustrar los esfuerzos de las facultades para confirmar que los educadores han logrado este objetivo. Y si las capacidades de los docentes en el diseño de la currícula, enseñanza y construcción de exámenes son escasamente examinados, las facultades (y los evaluadores) pueden interpretar mal la causa de cualquier logro estudiantil que esté por debajo de los criterios. Es necesario decir que los hallazgos en este estudio tienen, por sí mismos, relevancia insuficiente para criterios tan pequeños que han recibido poca atención como son los relacionados a los acuerdo para afiliación a los hospitales, la cantidad suficiente para los pacientes para la ensañanza, las infraestructuras en estas, y las calificaciones de las enseñanzas de los docentes, particularmente cuando las experiencias clínicas de los estudiantes se están haciendo tan dispersas y los centros académicos están en prácticas y confieren títulos de docentes a médicos de la comunidad de variable calificación para ser profesores y evaluadores. Pero nuestras observaciones apuntan a la necesidad de evaluaciones posteriores sobre la claridad y utilidad de cierta cantidad de criterios de acreditación. Para reafinar nuestra comprensión sobre la utilidad de estos criterios, estudiaremos grupos de interés (decanos, educadores, médicos, estudiantes, graduados, directores de programas de residencia, entre otros) para buscar opiniones sobre la validez de los criterios y su relevancia en la educación médica. Al mismo tiempo recomendamos que el LCME agudice sus definiciones operacionales sobre el uso de los criterios y monitorice más de cerca su aplicación.
CONCLUSIONES En los procesos de acreditación, las facultades de medicina han provisto evidencia de su cumplimiento de los criterios de acreditación en un alto grado. Que existan ciertos criterios que no hallan logrado su aplicación consistentemente, es más debido a la ambigüedad en su construcción y la insuficiente información proporcionada por el LCME acerca de su importancia, así como por la blandura institucional al momento de aplicar los criterios. Los evaluadores ponen mucha atención sólo a un poco más de la mitad de los criterios de acreditación y cumplen con los demás con un grado variable de éxito. Para algunos de los últimos. los indicadores operacionales no son del todo claros. El LCME necesitará considerar si se poner mayor atención a los criterios descuidados mediante definiciones más saltantes, mejor conformadas y más seguras, o si el cumplimiento "esencial" con una preponderancia de ciertos criterios es, suficiente, dando diferentes puntajes a los grupos de criterios para calificar las características y éxito de los programas educacionales. El estudio de los grupos de interés planeado por el LCME sobre la utilidad de los criterios de aplicación y su relevancia en la educación médica puede ayudar a organizar estos asuntos.
El Dr. Kassebaum es vicepresidente, el Dr. Eaglen es vicepresidente asociado y la srta. Cuttler es investigadora asociada, de la Division of medical School Standards and Assessment, Association of American Medical Colleges (AAMC), Washington D. C. El Dr. Kassebaum también es el AAMC Secretary to the Liaison Commitee on medical education. |
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
