CALIDAD DE LA PRODUCCIÓN CIENTÍFICA DE LOS INVESTIGADORES  DE LA FACULTAD DE MEDICINA, UNMSM.

Cecilia  Sog¹, Alberto Perales¹, Alfredo Aanderson², Salomón Zavala¹

. RESUMEN
. INTRODUCCIÓN
. MATERIAL Y MÉTODOS
. RESULTADOS
. DISCUSIÓN

• Importancia. Los hallazgos del estudio tienen un impacto mayor sobre la salud o la atención de salud.

• Utilidad. El estudio contribuye significativamente al debate científico o conocimiento sobre la materia.

• Relevancia. El tópico es relevante para las metas de la revista y de los lectores.

• Adecuación metodológica. Los métodos en uso son capaces de responder a la pregunta de investigación.

• Adecuación ética. Se ha evitado daño innecesario a humanos y animales. El estudio ha sido llevado a cabo y comunicado honestamente.

• Integridad. Se presenta toda la información relevante.

• Precisión. La información presentada es un reflejo de lo ocurrido.

De otro lado, el tema de calidad de las publicaciones médicas ha llevado a las prestigiosas revistas médicas Journal of the American Medical Association (JAMA) y British Medical Journal (BMJ) a organizar congresos internacionales, cada cuatro años, desde 1989, para presentar y analizar investigaciones realizadas sobre el proceso editorial de la publicación, particularmente, la revisión de pares (5). 

Los mencionados congresos "se iniciaron como una respuesta, al llamado de Bailer y Patterson, en 1983, de llevar a cabo estudios sobre la revisión editorial. Había abundancia de opiniones publicadas, pero pocos estudios empíricos y era obvio que conocíamos muy poco acerca de uno de los procesos centrales de la ciencia (…) Eran pocos los estudios publicados sobre el tema antes de 1986, pero actualmente existen cerca de 170 a 200 por año. Esto sugiere que se ha creado una nueva área de la ciencia; aunque estas investigaciones usualmente no son financiadas y llevadas a cabo por autores con otros intereses profesionales, está empezando gradualmente a proporcionar una descripción de la revisión y otros procesos editoriales así como algunas de sus consecuencias" (6).

Revisión de pares (peer review). El término revisión de pares se usa para describir una serie de procesos editoriales, más comúnmente, obtener opiniones críticas de expertos externos, pero también, revisiones de editores internos (4). El disentimiento es frecuente en este proceso y "hay que alcanzar un delicado equilibrio entre tres intereses distintos: los del autor, los del director de la publicación y los del árbitro" (7). 

Algunos predicen que la revisión de pares llegará a su fin con las transformaciones estructurales de la ciencia y "obligará a lectores de revistas, aún aquellas de investigaciones clínicas, a tomar parte más activa en la evaluación intelectual del trabajo publicado. Eventualmente, pero más pronto de lo que imaginamos, veremos una evolución hacia una forma de publicación que será un continuo diálogo abierto y de colaboración entre científicos que aportan, editores, comentaristas expertos y lectores" (8).

Otros diferencian entre el proceso general por el que los editores dirigen manuscritos (administración) y la parte cognitiva del proceso (evaluación). Y estando a favor de la revisión, dicen: "no es completamente acientífica, arbitraria o subjetiva como algunos han propuesto y sus méritos son substanciales cuando es dirigido y utilizado por un comité editorial cuidadoso. Tal como Bailer y Patterson expresaron algunos años atrás, la revisión de pares puede eliminar investigaciones que son pobremente concebidas, diseñadas, ejecutadas, triviales, marginales o difíciles de interpretar; mejora la calidad del manuscrito; encamina los resultados de la investigación hacia las revistas adecuadas; y ayuda a las personas que no son expertas a decidir en qué creer"(9).

Estudios sobre revisión de pares. Los estudios sobre el tema son diversos. Por ejemplo, en el Cuarto Congreso Internacional sobre Revisión de Pares en Publicaciones Biomédicas, que tuvo lugar en el año 2001, en España, los tópicos de interés incluyeron los mecanismos de la revisión de pares y la toma de decisiones editoriales, así como las evaluaciones de su validez y aplica-bilidad; la garantía de calidad para revisores y editores; los fracasos, debilidades y sesgos; la revisión de pares para propuestas de grants; el conflicto de intereses; la inmoralidad científica; los aspectos económicos de la revisión de pares y la publicación científica; el método para mejorar la calidad, eficiencia y distribución equitativa de la información biomédica; el método para medir la calidad de la información impresa y en línea; los sistemas digitales interactivos y otras nuevas tecnologías que afectan la diseminación biomédica y el futuro de la publicación científica(10).

Características de los revisores. Un estudio sobre las características de un buen revisor y de una buena revisión no halló asociaciones entre revisiones de calidad y ciertas características de aquellos, tales como: estar activamente involucrado en investigación, ocupar puestos académicos y ser miembro de organismos que financian la investigación. Se concluyó que existen tantos tipos de buenos revisores como de buenas revisiones. No obstante, sugiere a los editores recluten revisores con adiestramiento en epidemiología o estadística y enrolen personas más cercanas a los 40 que a los 60 años. Y a los revisores, que no inviertan más allá de cuatro horas en la revisión(11).

Se admite que no existe "una regla de oro" para juzgar la calidad de una revisión (12). Entre los estudios publicados, por ejemplo, respecto a la calidad general de los manuscritos seleccionados para publicación en Annals of Internal Medicine, se halló concordancia entre lectores y revisores, aunque discrepancia en cuanto a la importancia clínica de los mismos. Los primeros exigen relevancia clínica, mientras que los segundos evalúan las fortalezas y debilidades científicas del estudio. Sugiere a los editores incorporen la perspectiva de los lectores en el proceso de revisión de pares e investiguen sobre sus efectos (13).

Elección de la revista. Es importante saber cómo eligen los autores las revistas para someter a ella sus manuscritos. Un estudio demostró que en la primera presentación del manuscrito parece más importante tratar de influir o impresionar a colegas de la misma especialidad. La primera elección son las revistas altamente prestigiadas que publican frecuentemente artículos afines para lectores interesados. En las presentaciones siguientes ganan prominencia factores más prácticos, tales como tasa de aceptación, haber publicado previamente en una revista dada y las recomendaciones de colegas (14).

Sección metodología. Esta sección debe dar una idea clara de todo aquello que se hizo (15). Algunos autores han identificado errores metodológicos en artículos médicos, tales como fallas en describir el diseño estadístico o serios errores estadísticos. No obstante que se recomienda ampliamente la contribución estadística en la investigación médica, los profesionales que proporcionan tal experiencia a menudo no están involucrados hasta llegada la fase de análisis de datos y, muchos de ellos, ni siquiera son reconocidos como autores ni mencionados en agradecimiento (16).

Sección discusión. Esta sección típicamente es para resumir los principales hallazgos y ubicarlos en perspectiva, en el contexto de otros trabajos (15). Un estudio examinó la sección discusión de ensayos clínicos aleatorizados y controlados publicados entre 1997-2001, en cinco revistas médicas generales de prestigio. Halló que ninguna de las 30 comunicaciones incluyó una discusión de los resultados del ensayo clínico en el contexto de revisiones sistemáticas actualizadas de otros estudios relevantes (17).

Material. Se hizo uso de fuentes de información secundaria constituidas por: 1) publicaciones científicas, con autoría de docentes sanmarquinos, a partir de 1990, contenidos en la base de datos del Registro de Actividades de Investigación de San Marcos (RAIS), actualizado a enero del 2001; 2) archivo de las publicaciones en revistas periódicas, en texto completo y registrados en el RAIS. 

El ámbito de estudio fue la Facultad de Medicina de la Universidad Nacional Mayor de San Marcos (UNMSM).

Método. El presente estudio, en continuidad con uno previo sobre la tendencia 1991-2000 de la producción científica de los investigadores de la Facultad de Medicina, UNMSM, analiza aspectos de la calidad de tal producción. Para ello, se clasificó, en primer lugar, los 462 artículos publicados entre 1991-2000, utilizando los conceptos de pesquisa, estudio e investigación propuestos por Frenk y colaboradores, que se resume a continuación (18):

• Pesquisa (Averiguación). Simple recolección de datos para describir un segmento de la realidad.

• Estudio. Actividad que da lugar a la información, es decir, conjunto de datos ligados a una pregunta o un problema. Su nivel de aproximación a la realidad es más profundo que el de la averiguación, en la medida en que aspira a establecer correlación entre variables.

• Investigación. Nivel más complejo de integración, cuyo objetivo es explicar la realidad a través de la producción de inteligencia (conocimiento).

En nuestro trabajo, dada la dificultad para diferenciar entre estudio e investigación, se optó por juntar ambos bajo el rótulo de estudio; asimismo, se diferenció los artículos de revisión, ensayos y otros. Dos investigadores participaron independientemente en la clasificación. Los 462 artículos en orden de frecuencia fueron: estudios 293 (63,4%), revisiones 65 (14,1%), pesquisas 64 (13,8) y otros 40 (8,7%).

Finalmente, los 293 estudios constituyeron el material para evaluación de calidad, a través del proceso de revisión de pares.

Calidad (Estilo Vancouver). En el marco del presente estudio, la calidad se evaluó utilizando como criterio las normas del grupo Vancouver para cada una de las partes que comprende el artículo original (título, resumen, introducción, metodología, resultados y discusión). Es decir, se examinó aspectos más de estructura que de contenido del artículo. La razón de ello es que, evaluar la calidad científica de estudios tan heterogéneos hubiera exigido la participación de expertos en diferentes disciplinas y especialidades médicas.

Como se sabe, el estilo Vancouver se estableció en una reunión de editores de las principales revistas biomédicas en 1978, en la ciudad canadiense del mismo nombre, con el fin de uniformizar los requisitos exigibles a los manuscritos que se enviaba a sus revistas. Desde entonces, dicho estilo ha sido aceptado por la mayoría de las revistas científicas. Sus normas han sido revisadas en cuatro ocasiones posteriores, aunque sólo se ha introducido modificaciones ligeras (19).

Revisión de pares. Se procedió a un muestreo sistemático de los 293 estudios, seleccionándose el 20% (n=59). Utilizando como guía el estilo Vancouver, dos investigadores evaluaron independientemente un número de tales estudios. Luego, se reunieron para discutir sobre las discrepancias y, resueltas las diferencias, procedieron con la evaluación de los restantes. 

Los evaluadores utilizaron una tabla de calificación, creada para la cuantificación de cada una de las partes que comprende el artículo y al final llegar a un puntaje global (Tabla 1). La cuantificación facilitó el cálculo de la confiabilidad interevaluador; asimismo, el promedio del puntaje global de ambas evaluaciones permitió clasificar los estudios, de acuerdo al cumplimiento de las normas de Vancouver, en pobre, regular, aceptable, bueno y excelente.

Adicionalmente a la calidad, se describe algunas características de los estudios y para ello éstos fueron subdivididos en biomédicos, clínicos y de salud pública (18). 

• Biomédico. Se ocupa de las condiciones y los procesos (biológicos, psicológicos y sociales) determinantes de la salud y la enfermedad a nivel individual o subindividual (celular, molecular, etc.).

• Clínico. Suele enfocarse hacia el estudio de las respuestas (externas que la sociedad organiza) preventivas, terapéuticas o para la rehabilitación aplicadas al individuo.

• Salud pública (Epidemiológico). Se ocupa del estudio de las respuestas preventivas, terapéuticas o para la rehabilitación analizados a nivel de población.

Análisis estadístico. Se elaboró una base de datos en Visual Foxpro y se utilizó los paquetes estadísticos EpiInfo6 y SPSS 7,5, para la prueba de significado estadístico y la confiabilidad interevaluador Kruder Richardson 20 (Modelo alpha), respectivamente.

Calidad de los estudios. La calidad de los estudios se estableció con el método de revisión de pares y utilizando las normas de Vancouver. La Tabla 2 presenta los resultados de la prueba de confiabilidad interevaluador Kruder Richardson 20 (Modelo alpha) en la evaluación de los 59 estudios. La confiabilidad intereva-luador fue moderada en el puntaje total (0,65) aunque varió entre las diversas partes del artículo, siendo alta en resumen (0,75) y baja en resultados (0,10).

El promedio del puntaje total del evaluador 1 fue 82,85 (DE 10,31, rango 61-100) y del evaluador 2 83,81 (DE 8,26, rango 63-98). Se promedió el puntaje total de ambos evaluadores y los 59 estudios de la muestra fueron clasificados de acuerdo a cumplimiento de las normas de Vancouver (Tabla 3). La mitad de los estudios fue evaluada como buena en cuanto a cumplimiento de las normas de Vancouver.

Estadística. El procedimiento estadístico se estimó no necesario en 15 (25,4%), por tratarse de estudios descriptivos de hallazgos fortuitos (patológicos en necropsias, microorganismos en secreciones; descripciones de técnicas de laboratorio, de estudio y de tratamientos); y, necesarios, en 44, de los cuales sí lo describen 9 (20,0%) y no lo hacen 35 (80,0%).

Ética. En 20 estudios se estimó necesario consideraciones éticas, pero lo comunicaron sólo tres (15,0%) y no lo hicieron 17 (85,0%). 

Respecto a la calidad de los estudios, aunque el 71,2% fue evaluado como bueno y excelente en cuanto a cumplimiento de las normas de Vancouver, destaca la alta frecuencia de aquellos que no describen procedimientos estadísticos (80,0%) ni comunican sobre consideraciones éticas (85,0%).

Características de los estudios. La fuente de financiación fue consignada menos frecuentemente en los estudios clínicos (p <0,01) y la autoría individual fue menos frecuente en los estudios biomédicos (p <0,05). La colaboración interins-titucional y la participación de seis o más autores fueron más frecuentes en los estudios epidemiológicos que en los otros dos, pero las diferencias no fueron estadísticamente significativas. En el segundo quinquenio 1996-2000 disminuyó la frecuencia de los tres tipos de estudio. 

La mayor frecuencia de los estudios biomédicos caracterizaron al CIBN (p <0,001) y al IBA (p <0,01) y lo contrario al IIC (p <0,01) y los Departamentos Académicos (p <0,001), tal como se observa en la Tabla 4.

Limitaciones del estudio. En primer lugar, los resultados no pueden ser generalizados a la totalidad de las publicaciones de los investigadores de la Facultad de Medicina, porque sólo consideran aquellos registrados en el RAIS; y, en segundo lugar, los evaluadores fueron pocos para la heterogeneidad de la producción científica.

Calidad. Nuestro hallazgo, de que 71,2% de los estudios fue evaluado como bueno y excelente en cuanto a cumplimiento de las normas de Vancouver, estaría en relación con la calidad de la revisión editorial de las revistas. Se asume que uno de los objetivos de la revisión editorial es mejorar la calidad del manuscrito entre su presentación y publicación. Al respecto, Wager y Middleton llevaron a cabo una revisión sistemática de 11 estudios sobre efectos de las correcciones técnicas en revistas médicas, y hallaron asociación entre este proceso y mejora en la amenidad del estilo y la calidad de los artículos, aunque señalan que pueden no ser generalizables a otras revistas (20).

De otro lado, la confiabilidad interevaluador, expresada en el puntaje global de la calificación del estudio, fue moderada. A propósito de este hallazgo, consideramos importante el comentario de Kassirer y Campion: "El desacuerdo entre revisores es común y es probable que sea primariamente un reflejo de la complejidad del proceso de evaluación del manuscrito más que evidencia de que el proceso de revisión de pares es arbitrario o caprichoso". Agregan que un acuerdo respetable entre revisores puede dar menos información a autores y editores, que evaluaciones completamente diferentes por revisores con diferente experiencia, diferentes áreas de experiencia y disciplina (9).

Es posible que nuestros evaluadores atribuyeran criterios diferentes al sistema de calificación utilizado, pese a la guía de las normas de Vancouver. Estas diferencias en la interpretación fueron observadas también por Howard y Wilkinson, quienes investigaron la asociación entre evaluaciones de revisores y decisiones editoriales en el British Journal of Psychiatry. Asimismo, los citados autores hallaron que revisores y editores tienden a coincidir en aquellos artículos que claramente no son aceptables para publicación, pero el acuerdo fue menor en aquellos que fueron evaluados como aceptables (21).

Adicionalmente, observamos una discrepancia en los resultados de nuestro estudio; de un lado, 71,2% de aquellos fue evaluado como bueno y excelente; y de otro, 80% de los estudios no describió procedimiento estadístico, lo cual obviamente va en detrimento de su calidad. Tal discrepancia ya ha sido observada por otros autores, por ejemplo, Huwiler-Muntener y cols, quienes hallaron que similar calidad del informe puede ocultar diferencias en la calidad de la metodología, y ensayos clínicos muy bien conducidos pueden ser comunicados defectuosamente (22). 

Respecto a la adecuación ética del estudio, hallamos que 85% no incluyó consideraciones éticas, porcentaje casi diez veces mayor al informado por Yank y Rennie. Estos autores compararon los ensayos clínicos publicados antes y después de 1997 en Annals of Internal Medicine, BMJ, JAMA, The Lancet y The New England Journal of Medicine y hallaron que ellas mejoraron en la comunicación sobre Consentimiento Informado y aprobación por el Comité de Ética; sin embargo, 9% de los estudios no lo hicieron (23).

Características de los estudios. Los hallazgos del presente estudio complementan lo descrito por los autores en publicación previa, sobre tendencia 1991-2000 de la producción científica de investigadores de la Facultad de Medicina, UNMSM (3).

Estudio de Investigación 2002 Con Asignación a la Investigación y Con Incentivo al Investigador N.º 20112141. Título original: Método para el estudio de la producción científica de la Facultad de Medicina


Bibliografía

Volumenes anteriores

Revistas