Evaluación de desempeño de estudiantes de salud, usando el modelo de calidad de cuidado percibido por la comunidad (página 2)

METODOLOGÍA

En el estudio participaron 50 estudiantes de medicina, en práctica comunitaria con el Proyecto UNI, 94 familias de dos áreas rurales de Cali, docentes coordinadores de la práctica y funcionarios de las instituciones de salud de las comunas. Aunque la idea inicial fue evaluar estudiantes de todas las disciplinas, sólo se consideraron los de medicina, pues las familias los reconocían más fácilmente.

El estudio se inició con la búsqueda de variables y los criterios de las familias para evaluar la calidad de la atención, utilizando la satisfacción del usuario como indicador de desempeño. En la primera fase se sensibilizó a los participantes sobre alcances y beneficios del estudio y se realizaron consultas para diseñar y probar una primera versión de los instrumentos y de la metodología. Se obtuvo información cualitativa y cuantitativa sobre variables, criterios para calificarlas y métodos para obtener información, analizarla y difundirla. Las variables fueron servicios mínimos, conocimientos del proveedor, comunicación e información brindada al usuario y liderazgo para promover acciones en beneficio de la salud.

En la segunda fase, se aplicaron los instrumentos para recolección de información sobre cada una de las variables. Las familias evaluaron dos estudiantes en promedio, mediante la aplicación de un cuestionario semiestructurado y el empleo de otras técnicas como grupos focales, entrevistas en profundidad, comentarios y conversaciones informales. Para estandarizar la aplicación de las técnicas, se capacitó a encuestadores y demás participantes en la evaluación.

Se estudió si la misma variable, medida con criterios diferentes, es decir, el de usuarios y proveedores, proporcionaba resultados concordantes. Se evaluó la consistencia interna del cuestionario, usando el coeficiente de Kuder Richardson (KR20)12 para identificar si los items estaban midiendo diferentes aspectos de la misma variable.

También se evaluó la concordancia entre los evaluadores -familias y docentes- y la concordancia entre las familias, aplicando el método estadístico Kappa13, el cual refleja la confiabilidad y precisión del instrumento.

Otro aspecto examinado fue la validez del cuestionario. Como las variables y preguntas para obtener información sobre el desempeño de los estudiantes se desarrollaron con la comunidad y se probaron en varios grupos de la misma área geográfica, se comprobó que los criterios y preguntas utilizados reflejaron lo que la comunidad quería medir. Se realizó un análisis grupal para discutir resultados y hacer recomendaciones para futuras aplicaciones.

RESULTADOS

Se encontró que las familias y los docentes de la Facultad de Salud concordaron en su apreciación sobre un mayor desempeño de los estudiantes en una de las comunas, a pesar de la pobre coincidencia entre ambas comunas. Las causas de la diferencia entre las comunas fueron varias. Por un lado, las capacidades y actitudes de los estudiantes hacia la práctica comunitaria, las características de los miembros de la Facultad y su compromiso con el programa, la aplicación de técnicas de enseñanza y la planificación y organización de la práctica en cada uno de los sitios.

Las diferencias entre docentes y familias se pueden explicar, porque se midió la misma variable con una escala diferente y, por otro lado, los estudiantes los evaluaron los médicos y el personal de diferentes disciplinas (odontólogos, fisioterapistas, enfermeras, bacteriólogos, fonoaudiólogos), lo que podría reducir la precisión de los resultados por las diferentes lógicas en la aplicación de criterios de medición.

Precisión del cuestionario. Del total de estudiantes de medicina que participaron en el estudio, 45% fue evaluado por más de una familia. La concordancia entre las familias que evaluaron al mismo estudiante varió, siendo moderada para algunas variables y muy baja para otras. El coeficiente de Kappa osciló entre -0.25 y 0.49, donde los casos negativos indican que la concordancia observada fue inferior a lo esperado al azar. La mayor concordancia entre las familias ocurrió en las preguntas referentes a si el estudiante realizaba reuniones con la comunidad (49%), tomaba la presión arterial (48%), tomaba el pulso (39%) y si estaba comprometido con la familia. La mayor incongruencia se presentó en las preguntas referentes a si el estudiante había notificado cuándo iba a regresar (-41%) y si había suministrado alguna información educativa sobre salud (-25%).

La consistencia interna más alta se encontró en la variable liderazgo (96.6%) cuando todos los puntos estaban presentes (Cuadro 1). No hubo mayores cambios en este porcentaje cuando se removió cada uno de los puntos de la escala. Sin embargo, cuando se omitió el punto referente a "cumple los compromisos adquiridos," la consistencia interna alcanzó 100%.

La concordancia entre los dos evaluadores para la variable liderazgo, se encontró únicamente en los puntos referentes a si el estudiante "mostraba interés por el usuario y su familia" y si el estudiante "hizo que el usuario y la familia se interesaran por su propia salud".

La consistencia interna para la variable "Tipo de servicios" cuando todos los puntos estaban presentes, fue 76.5% (Cuadro 2). La consistencia interna aumentó a 81% cuando se excluyó el punto que se refería a si el estudiante había realizado actividades adicionales, lo cual significa que este punto tampoco contribuyó a la homegeneidad de la escala.

Al aplicar el coeficiente de Kappa a la escala "Tipo de servicios", se encontró la más alta concordancia entre familias y docentes para los puntos que preguntaban si los estudiantes habían realizado reuniones con la comunidad. La menor concordancia se encontró en el punto sobre "prácticas educativas." Una explicación probable para este hallazgo es que los docentes no siempre pueden controlar las actividades emprendidas por los estudiantes durante las visitas domiciliarias.

La consistencia interna para la variable información y comunicación fue 75.6% (Cuadro 3). Este porcentaje descendió a 63.7% y 69.1%, cuando se omitieron los puntos que se refieren a si el estudiante "orienta y da explicaciones claras", "se hace entender" y "anima a la familia a hablar". Por otro lado, la consistencia interna es significativamente superior (93.2%) cuando se excluyó el punto "usó cartillas o folletos", por tanto, su inclusión en la escala se debe considerar. No hubo concordancia entre las familias y los docentes con respecto a esta variable.

La consistencia interna más baja fue para la variable conocimiento (54%) cuando todas las preguntas estaban presentes (Cuadro 4). Este porcentaje fue superior (77%) cuando se omitían preguntas como "el estudiante hace preguntas en forma apresurada", lo cual podría significar que no contribuye a la homegeneidad de la escala.

La consistencia interna para la escala que mide "calidad de la atención" (Cuadro 5) estuvo alrededor del 70%, cuando todos las preguntas estuvieron presentes. Se encontró una pequeña variación cuando se excluyeron las preguntas que se referían a si el estudiante "fue puntual" y si "la familia se sintió satisfecha con la atención suministrada"; en ambos casos la consistencia interna fue mayor a 83% y 73%, respectivamente; por lo tanto, se debe considerar su inclusión en la escala.

La menor consistencia interna (64%), se alcanzó cuando se omitió el punto que preguntaba si el estudiante había demostrado interés por la salud del usuario. La concordancia entre evaluadores en todos los puntos de esta variable fue muy baja. La mayor concordancia se encontró en los puntos que preguntaban si el estudiante mostraba interés por la salud del usuario (21%), si era puntual (17%) y si demostraba seguridad (12%).

Validez del método. Fue alta la confiabilidad del cuestionario, medida por la consistencia interna de los criterios para evaluar cada variable. La consistencia interna más alta se encontró en la escala que mide el "liderazgo", seguida por las variables "tipo de servicios" y "comunicación e información". La más baja estuvo en las variables "conocimiento" y "atención adecuada". Probablemente, estas dos últimas sean las más difíciles de medir para las familias, debido a que la percepción que tienen sobre lo que es "conocimiento" y "atención adecuada" depende de los servicios suministrados, y los criterios para medirlos pueden variar enormemente de una familia a otra o de un día a otro.

En este estudio se consideró el criterio de Kelsey13, el cual señala que en ausencia de un criterio que permita la comparación con un estándar, es preferible comparar diferentes medidas imperfectas entre sí, de dos observadores independientes. De esta forma, más que evaluar la validez, se mide la estabilidad de la medida, lo cual brinda información sobre su calidad.

Como puede apreciarse por los resultados, no existe relación directa entre los estadísticos para medir consistencia interna y grado de concordancia entre los evaluadores. Sin embargo, se encontró en algunos de los puntos un alto grado de concordancia entre evaluadores y alta consistencia entre ellos.

Una causa probable del hallazgo anterior, podría ser el hecho de medir la misma variable desde diferentes ángulos, el de la comunidad y el de la academia, representada esta última por profesionales de diferentes disciplinas y, por tanto, con diferentes percepciones de la realidad.

DISCUSIÓN

Este estudio tiene implicaciones pedagógicas, sociales y técnicas. El modelo propuesto permite la participación de la comunidad en el aprendizaje del estudiante de salud y el reajuste de los contenidos, pedagogías y escenarios de enseñanza, a las expectativas de la comunidad.

Asimismo, enfatiza en el criterio de participación de los usuarios en la calidad de la atención y expone al estudiante a la realidad y valores de personas diferentes del entorno universitario, al tiempo que establece metodologías de evaluación flexibles, fuera de lo tradicional.

Se confirma la hipótesis que la evaluación es herramienta válida para planificar programas docente asistenciales, al suministrar información oportuna y confiable, y al involucrar actores que desempeñan un papel clave en el mejoramiento de las condiciones de salud de la población y en la formación de profesionales de salud.

Es necesario comprender que la actividad de evaluación, como se propone en este estudio, trasciende la aplicación de herramientas como el cuestionario, para ser un proceso interactivo, donde cada participante tiene un papel y una contribución que hacer. Por lo tanto, aunque el cuestionario estructurado es un elemento clave dentro de esta actividad, no puede cumplir por sí solo los objetivos de la evaluación. Es necesario preguntar cuál es la forma más efectiva de obtener la participación permanente y activa de la comunidad en la evaluación de los estudiantes y preguntar si los datos resultantes de la evaluación van a ser utilizados de tal forma que la evaluación cumpla su objetivo.

De igual forma, con este estudio quedó claro que la evaluación debe estar ligada a procesos de mejoramiento permanente si quiere convertirse en una actividad continua que involucre y convoque a todos aquellos que son parte del problema y de la solución.

Fortalezas y debilidades del estudio. Se observa que las distribuciones de las respuestas muestran una alta desviación, lo cual sugiere imperfecciones al recolectar de información. Sin embargo, hay razones para pensar que la calidad de la información es una de las fortalezas de este estudio: primero, los resultados similares sobre el desempeño de los estudiantes, encontrados en la evaluación anual de la práctica y segundo, la participación activa y permanente de docentes y funcionarios de las instituciones de salud y las comunidades donde se desarrolla la práctica, lo cual facilitó su compromiso y voluntad para brindar información pertinente y confiable.

Otros aspectos que pueden haber influido en la calidad de los datos son la capacitación profesional de los entrevistadores y su habilidad para hacer trabajo comunitario, la excelente relación que se estableció con las familias y el alto nivel de recuperación de la información.

La limitación principal es la ausencia de un constructo o criterio para medir la validez de la prueba. Desarrollar un constructo no es una tarea fácil en este caso, por la variabilidad de las medidas relacionadas con las percepciones y sentimientos, con respecto a una variable específica.

Un aspecto importante y desafiante de la evaluación propuesta en este estudio, fue considerar a la comunidad como la principal fuente de información. Existen problemas culturales relacionados con la aplicación de la metodología, como el temor de las familias para evaluar a quien consideran un "doctor".

Donabedian14 hizo un comentario sobre este punto, afirmando que "hay que recordar que, a menos que se tomen las debidas precauciones, los pacientes pueden mostrarse renuentes a revelar sus opiniones, por temor a alienar a las personas que les suministran el servicio médico". En este caso, fue posible manejar esta limitación pues la comunidad estaba altamente involucrada con el programa y se suministró suficiente información con respecto a los beneficios de su participación en la evaluación y sobre la oportunidad de estar vinculada en el proceso de toma de decisiones, para mejorar la calidad del servicio recibido por los estudiantes. Lo anterior no necesariamente se aplica a otro contexto y por tanto, debe explorarse antes de iniciar esta tarea.

RECOMENDACIONES

El primer paso para medir es responder a la pregunta ¿qué se va a medir? considerando el conocimiento, las habilidades y las actitudes que el estudiante o el profesional presenten. Una pregunta importante que se debe responder antes de emprender una evaluación es ¿cómo se usarán los resultados y quién los usará? La respuesta a estas dos preguntas dará los criterios para establecer normas, los métodos que se deben aplicar y las condiciones bajo las cuales se debe lograr la evaluación.

La metodología e instrumentos aquí propuestos se deben ajustar permanentemente, por el carácter subjetivo y dinámico de la evaluación y el surgimiento de nuevas necesidades y expectativas. Sin embargo, esta actividad debe entenderse como parte de las tareas de la planificación de la enseñanza, donde un aspecto central es el conocimiento actualizado del contexto donde ésta se realiza.

Se recomienda hacer seguimiento a los puntos que muestran baja consistencia interna o baja concordancia, para averiguar las causas y decidir si se deben reemplazar o ajustar, en forma tal que midan la misma característica de la variable. Es importante conocer la opinión de la comunidad sobre la inclusión de otros aspectos o preguntas, cuidándose de no adicionar complejidad al cuestionario y a los otros métodos de recolección de información.

Se recomienda también aplicar el cuestionario más de una vez en el semestre, pues los resultados pueden cambiar, por la variabilidad de la percepción de las familias o de los usuarios sobre los diferentes rasgos a ser evaluados.

Los hallazgos de este estudio deben atraer la atención de los educadores hacia el objetivo de formar estudiantes preparados, para proporcionar servicios de salud que cumplan con las expectativas de la comunidad y de las instituciones de servicios. No sería apropiado la aplicación de un modelo único por la diferencia en el concepto de calidad de cuidado entre proveedores de servicios y comunidades. Por tanto, en lugar de amalgamar los puntos de vista de los docentes y los de la comunidad, se recomienda identificar las diferencias y considerarlas como insumo para ajustar los planes de estudios.

Es necesario que docentes, estudiantes y funcionarios de los sistemas de salud, conozcan la lógica comunitaria, las razones que animan a la comunidad para comportarse de una determinada forma y su reacción ante el sistema de prestación de servicios; sólo de esta manera se puede, sino hablar de lo mismo, por lo menos respetar la diferencia.

AGRADECIMIENTOS

La autora agradece especialmente a las familias de las comunas 7 y 20 de Cali, al equipo de trabajo del Proyecto UNI de Cali y a los docentes y estudiantes que realizan la práctica comunitaria en los sitios señalados. Al Center for Medical Education de la Universidad de McGill, Montreal, Canadá, y particularmente el apoyo técnico de su directora, la doctora Vimla Patel. Al International Development Research Center (IDRC) por el apoyo financiero para realizar el estudio; a la Fundación WK Kellogs, a través del Proyecto UNI, por facilitar la infraestructura para realizar este trabajo.

SUMMARY: A methodology for evaluation of health student's achievement, taking as an indicator the user's satisfaction, was designed and proved. Fifty medicine student's (50%) and 94 families from two region of Cali, Colombia participated. According to family's opinion, the quality of care given by the students is related with type of services provided, knowledge about the situation, communication and information given to the users and leadership to improve the service. The methodology used covered interviews, focus group discussions, meetings with key informants, and the application of a structured questionnaire. Statistic such as Kuder Richardson and Kappa Statistic were used to analyzed the inter rater validity and the internal consistency of the questionnaire. It was found that there are two logical in the evaluation of the quality; one from the suppliers, which emphasis is in the action done according to clinical protocols; and the users, that makes emphasis in the relations between suppliers – and users. The academic programs are based mainly on the first one. The results of this study demonstrate that the proposed assessment activity will allow the educational and health services institutions to have relevant and dynamic information as feedback for planning and adjustment their programs. At the same time, it will allow the community to participate in an effective way in aspects related to their health. It was concluded that the permanent participation of the community in the evaluation of the students it is a key aspect to adjust the educational programs to the needs and expectations of the society.

REFERENCIAS

1. Chandler M, Chapman M (eds.). Criteria for competence: controversies in the assessment of children's abilities. Hillsdale; Lawrence Erlbaum, 1991.

2. Usherwood T, Challis M, Foesbury H, Hannay D. Competence-based summative assessment of a student-directed course: Involvement of key stakeholders. Med Educ 1995; 29: 144-49.

3. Kisil M, Chaves M. Linking the university with the community and its health system. Med Educ 1994; 28: 343-49.

4. Reckase M (editorial). J Edu Measur 1993; 30: 185-86.

5. Broadfoot P (editorial). Assess Edu 1994; 1: 3-10.

6. Patel V, Arocha JF, Kaufman DR. Cognition and medical education: a critical appraisal. Montreal; McGill University, 1994.

7. Gonnella JS, Hojat M, Erdmann JB, Veloski JJ (eds.). Assessment measures in medical schools residency and practice: the connections. New York; Springer Verlag, 1993.

8. Swanson DB, Norman G, Linn RL. Performance-based assessment: Lessons from the health professions. Edu Res 1995; 24: 5-11; 35.

9. Sullivan L, Dukes K, Harris L, Dittus R, Greenfield S, Kaplan S. A comparison of various methods of collecting self-reported health outcomes data among low -income and minority patients. Med Care 1995; 33: AS183-94.

10. Carey M, Smith WM. Capturing the group effect in focus group: a special concern in analysis. Qual Health Res 1994; February: 123-27.

11. Wolf TM. Coping and health: Enhancing well-being during medical school. Med Educ 1994; 28: 8-17.

12. Streiner DL, Norman GR. Health measurement scales. A practical guide to their development and use. Oxford Medical Publications 1989; 48-51; 94-5.

13. Kelsey L, Thompson D, Evans A. Methods in observational epidemiology. Oxford University Press 1986; 289-92.

14. Donabedian A. The quality of care: How can it be assessed? In Quality assurance in hospitals: strategies for assessment and implementation. Graham NO (Ed.). Gaithersburg; Aspen Publications, 1990. Pp. 14-28.

Ligia de Salazar, Enf., MAS, MPH, Ph.D. Directora, Centro para el Desarrollo y Evaluación de Tecnología en Salud (CEDETES). Docente Escuela de Salud Pública, Facultad de Salud, Universidad del Valle. A.A. 20637 Cali, Colombia.