Caracterización del examen estatal escrito de Estomatología de la Universidad Médica de Camagüey

CÁTEDRA

 

Caracterización del examen estatal escrito de Estomatología de la Universidad Médica de Camagüey

 

Characterization of the written State examination in the Stomatology Faculty at the Medical University of Camagüey

 

 

Sarah Teresita Gutiérrez MartoreI, Ernesto E. López Cruz, II Jacqueline Legañoa Alonso,III Ana Marrero FenteIV

I. Especialista de I Grado en Estomatología General Integral. Máster en Educación Superior. Máster en Atención de Urgencias Estomatológicas. Profesor Auxiliar. Universidad de Ciencias Médicas "Carlos J. Finlay". Facultad de Estomatología. Carretera Central Oeste km 4½, Camagüey, Cuba. CP 70100. sarah@finlay.cmw.sld.cu
II. Especialista de II Grado en Estomatología General Integral. Máster en Atención de Urgencias Estomatológicas. Profesor Auxiliar. Universidad de Ciencias Médicas " Carlos J. Finlay". Facultad de Estomatología. Carretera Central Oeste km 4½, Camagüey, Cuba. CP 70100. ernestolopez@finlay.cmw.sld.cu
III. Doctora en Estomatología. Especialista de II Grado en Estomatología General Integral. Máster en Atención de Urgencias en Estomatología. Profesora Auxiliar. Universidad de Ciencias Médicas "Carlos J. Finlay". Facultad de Estomatología. Carretera Central Oeste km 4½, Camagüey, Cuba. CP 70100. jlegaa@finlay.cmw.sld.cu
IV. Especialista de II Grado en Estomatología General Integral. Máster en Salud Bucal Comunitaria. Profesora Auxiliar. Clínica Estomatológica Docente Provincial, Camagüey, Cuba. amfente@finlay.cmw.sld.cu . jlegaa@finlay.cmw.sld.cu

 

 

RESUMEN

Introducción: El examen estatal escrito evalúa la competencia del egresado y debe cumplir los requisitos de su confección y de su análisis informar las deficiencias en el proceso docente educativo para su perfeccionamiento.
Objetivo: Caracterizar el examen estatal ordinario escrito y los resultados obtenidos en la Facultad de Estomatología. Camagüey durante el período 2011-2012.
Métodos: Se realizó un estudio descriptivo del examen estatal ordinario escrito aplicado a 146 estudiantes. Se elaboró una base de datos con las calificaciones obtenidas, índice académico y una guía con las variables tipo de examen, de preguntas, nivel de asimilación, claridad de formulación, correspondencia con los objetivos de la carrera, clave de calificación y cumplimiento de los criterios de Guilbert, analizados por grupo de expertos.
Resultados: En los resultados se aproximó la nota de los excelentes (27,4 %) con el índice académico de los altos rendimientos (28,1 %). La mediana general fue de 86,3. Los temas más explorados fueron Endodoncia (18,8 %), Prótesis y Odontopediatría (10,4 %). Las preguntas con más valor fueron de temas curativos. El nivel de asimilación fue reproductivo y el 35,4 % de preguntas tipo selección múltiple complemento agrupado. Existieron dificultades de diseño del examen y autopreparación de los estudiantes.
Conclusiones: Los resultados se aproximaron a los rendimientos académicos. No hubo equidad entre el número, valor de las preguntas por temas y nivel de asimilación. Los errores se asociaron en frecuencia al diseño y redacción de algunas preguntas, insuficiente estudio y en menor grado a la falta de sistematicidad en el proceso docente, que permitieron determinar las deficiencias para su intervención.


Palabras clave: evaluación educacional, Odontología; educación médica.

ABSTRACT

Introduction: The State written exam evaluates the competence of seniors and must meet the requirements of its preparation and analysis in order to report deficiencies in the educational teaching process for its further development.
Objective: To characterize the written regular state exam and the results obtained at the Faculty of Stomatology. Camaguey during the period of 2011-2012.
Methods: A descriptive study of the written regular state exam was conducted to 146 students. A data base was developed with the grades obtained, academic index and a guide with the exam- type variables, questions, level of assimilation, clarity of formulation, correspondence with the objectives of the career, key qualification and compliance with the criteria of Guilbert, all analyzed by groups of experts.
Results: In the results the excellent notes (27.4%) approached to the academic index of high yield (28.1%). The general average was 86,3. The most explored themes were Endodontics (18.8%), Prosthesis and Pediatric Odontology (10.4%). healing topics were the questions with more value. The level of assimilation was reproductive and 35.4% of multiple choice type questions complement clustered. There were difficulties according to the test design and the students' self study.
Conclusions: The results were close to academic performance. There was no equality between the number, value of the questions by topic and level of assimilation. Errors were often associated with the design and wording of some questions, insufficient study and in a lesser extent to the lack of systematic fashion in the teaching process, which allowed to determine deficiencies for its intervention.

Keywords: educational measurement, Odontology, medical education.

 

 

INTRODUCCIÓN

El egreso de un profesional de la salud con la calidad requerida exige la formación de una sólida base teórico-práctica y modos de actuación profesional que le permita resolver con éxito los problemas de salud fundamentales en la atención primaria, los objetivos, propósitos y directrices de la salud pública cubana, y elevar los niveles de salud de la población.

El examen estatal es el componente final del sistema de evaluación que, mediante tribunales externos, comprueba la competencia profesional (hábitos, habilidades, actitudes y conocimientos aplicados) alcanzados por los educandos a lo largo de la carrera y consolidados en el año de la práctica preprofesional o internado.1,2

El examen estatal o titulación, resulta una verificación oficial del nivel de competencia obtenido antes de la graduación, e iniciar el ejercicio como profesional en el Sistema Nacional de Salud, lo que implica una enorme responsabilidad social, ya que al aprobar el examen se le reconoce y autoriza a ejercer acciones directas relacionadas con la salud de las personas.3

En Cuba, en todas las carreras de las Ciencias Médicas, desde la década de los años 90, asume la culminación de estudios a través del Examen Estatal como certificativo de la calidad de los egresados y se implanta en Estomatología el curso académico 1995-1996.4-6

Este tipo de evaluación, además de contribuir a verificar la calidad de la educación superior, aporta a las instituciones información que les permite definir acciones para mejorarla, ampliar el conocimiento de que disponen las instancias para el establecimiento de estrategias de trabajo y principalmente para informar al propio estudiante acerca del nivel de formación alcanzado.2,3 El examen estatal realiza la verificación del cumplimiento de los objetivos terminales de la carrera, este examen cuenta con dos ejercicios uno práctico y uno teórico escrito, como fundamentación científico-técnico de la actuación profesional siendo requisito para este último haber aprobado el primero.4,5

Competencia es la capacidad para desarrollar de forma idónea una actividad o tarea, se refiere al conjunto de conocimientos y habilidades esenciales, así como a las actitudes de los educandos, es lo que sabe y sabe hacer. Desempeño es la conducta real del educando como trabajador, para desarrollar competentemente los deberes u obligaciones inherentes a un puesto de trabajo, es lo que en realidad hace.7

Por lo anteriormente expuesto, no hay un buen desempeño si no existe la competencia acorde al mismo, si en el examen práctico los resultados son de excelencia, en los exámenes escritos se deben obtener similares resultados. De no existir correspondencia entre ellos, pertenece hacer un análisis de los factores que pueden estar involucrados en esas diferencias.

Puede haber un estudiante muy bueno en teoría, pero con dificultades en la práctica por problemas en el desarrollo de habilidades manuales. En la situación inversa se puede estar en un ejercicio reproductivo de la profesión con deficiencia en la fundamentación científica de los procederes y compromiso de la competencia laboral. La gestión de competencias se entrelaza profundamente con la gestión del conocimiento. No se logra una verdadera eficiencia en la gestión por competencias si esta no se encuentra en correspondencia con los aspectos relacionados con la gestión del conocimiento; ellas forman un binomio cuyo divorcio puede conducir al fracaso de la competitividad de la profesión.8

El ejercicio para medir la base científico-técnica de la actuación profesional está en el examen escrito. Los objetivos a medir deben estar bien definidos y corresponderse con los terminales de la profesión, así como las preguntas deben corresponderse con los niveles de asimilación de reproducción, aplicación de técnicas y procedimientos identificación, y solución de problemas, para que el instrumento evaluativo tenga objetividad, pertinencia, equilibrio y equidad.9,10

Sin embargo, numerosos autores de análisis de resultados de exámenes estatales del pre y postgrado reportan diferencias entre las evaluaciones prácticas y teórica, donde la evaluación teórica obtiene las más bajas calificaciones, lo que constituye un conflicto o contradicción con respecto al proceso docente-educativo.11-14

Los instrumentos evaluativos escritos pueden dividirse en:15

a) Los exámenes de desarrollo, de respuesta libre, tradicionales o de ensayo.

b) Los exámenes de respuesta estructurada o test objetivos.

c) Una tercera variante, producto de la combinación de ambos tipos de preguntas, la mixta. Esta clasificación se basa en la categoría de las preguntas o items que pueden ser de respuesta libre o ensayo y de respuesta estructurada o test objetivos.

El examen estatal de respuesta estructurada o Test Objetivo, con preguntas de selección múltiple, verdadero/falso, apareamiento y completar, que es el más utilizado en el pregrado.1,3,15

Un aspecto importante de la calidad de un instrumento evaluativo es el que se refiere a la validez, es decir, a la correspondencia que existe entre lo que el instrumento evaluativo pretende medir y lo que mide realmente.15

La determinación de la validez requiere criterios de expertos externos y capacita para determinar el grado de acierto del diseño del instrumento evaluativo a partir de los resultados de las calificaciones de los estudiantes. Las calificaciones no se utilizan per se con fines predictivos, sino para comprobar la calidad del instrumento evaluativo y fundamentar las inferencias que se realizarán a partir de sus resultados.

La validez usualmente se clasifica en cuatro grupos: de contenido, de criterio, de construcción y funcional.15

1. La validez de contenido consiste en determinar si el instrumento evaluativo constituye una muestra representativa del dominio de los conocimientos y/o habilidades que se pretende evaluar.

2. La validez de criterio es cuando, a partir de los resultados obtenidos, se pueden hacer inferencias válidas sobre una variable que no se puede medir directamente por el instrumento evaluativo. Puede ser validez predictiva o validez concurrente.16

3. Validez de construcción. Fijan la atención en una cualidad que precisa un alto grado de elaboración teórica. El análisis para este tipo de validez tiene utilidad en los procedimientos que usualmente se aplican en las investigaciones, como diferenciación entre grupos, validez discriminante, método matricial de rasgos múltiples y análisis factorial.

4. Validez funcional. Está en correspondencia con el tipo de actividad a verificar y el nivel alcanzado por el estudiante de las habilidades que, de acuerdo con el objetivo propuesto, conforman su modo de actuación.15

Arencibia Rodríguez et al.17 realizan una propuesta de diferentes etapas para la elaboración y aplicación del examen estatal teórico-escrito. La primera etapa, es la del diagnóstico. La etapa dos, la planificación, donde se define el para qué, qué evaluar, cómo, quién y cuándo. La etapa tres es la construcción y selección del examen a partir de la tabla de especificaciones de contenido y del modelo teórico ideal, en que se confeccionan fichas de preguntas, se clasifican y se conforma el banco de preguntas. La etapa cuatro es la aplicación del examen y la etapa cinco, del re análisis, calificación y procesamiento de los resultados. Por lo que el diseño de los exámenes escritos se ejecuta a partir de la:

- Selección de los temas a evaluar.

- Confección de la tabla de especificaciones de contenido.

- Elaboración de las preguntas del examen.

- Precisión de la clave de calificación. Una vez aplicado y calificado el examen se procesan los resultados con su análisis de retroalimentación.

Los exámenes escritos son instrumentos que permiten a los docentes informarse sobre el aprendizaje que han logrado sus alumnos, informan sobre las dificultades docentes de los estudiantes y las deficiencias en el proceso de aprendizaje, ya sea por falta de estudio, déficit de retroalimentación de los profesores o insuficiente control de la consolidación de los conocimientos teóricos. El análisis de los resultados se utiliza para establecer un plan de medida a fin de mejorar los instrumentos evaluativos, el autoestudio de los alumnos y la estrategia docente en los aspectos científico-técnicos y pedagógicos de los contenidos que se le haya detectado deficiencias.

¿Cómo se comportan los resultados del examen escrito con respecto al práctico? ¿El examen escrito se corresponde con los objetivos de salida de la profesión? ¿Qué diseño se aplicó en el examen escrito con respecto al nivel de asimilación y formato de las preguntas? ¿Qué deficiencias existieron y sus posibles causas acerca del diseño del examen, estudio individual de los estudiantes y del proceso docente?

El propósito del trabajo es caracterizar el instrumento de evaluación del examen estatal ordinario escrito y los resultados obtenidos en la Facultad de Estomatología de la Universidad de las Ciencias Médica de Camagüey en el curso 2011-2012.

MÉTODOS

Se realizó un estudio observacional descriptivo del examen estatal ordinario escrito aplicado a 146 estudiantes del curso 2011-2012 de la Facultad de Estomatología de la Universidad Médica de Camagüey. Se utilizaron métodos teóricos, empíricos y estadísticos.

Se elaboró una base de datos de los estudiantes examinados con las calificaciones obtenidas según tipos de ejercicios y evaluación final.

Se obtuvo el índice académico de los expedientes docentes para determinar el rendimiento académico de cada estudiante durante la carrera. Se comprobó la validez de criterio del instrumento evaluativo,15 al comparar los resultados del examen estatal ordinario con el rendimiento académico.

Se clasificó el rendimiento de cada alumno según el índice académico obtenido durante su etapa formativa en: bajo rendimiento, cuando el índice se encontraba hasta 3,99 puntos; mediano rendimiento cuando estaba entre 4 y 4,74; alto rendimiento cuando alcanzaba 4,75 y más.

Las notas de los estudiantes se clasificaron en las categorías de: hasta 79,9, de 80-89,9 y de 90 y más, se relacionaron estas categorías con las de bajo, mediano y alto rendimientos.

De acuerdo con el contenido se clasificaron las preguntas según los temas evaluados en: cantidad de preguntas por temas, valor otorgado según la clave de calificación, frecuencia de errores en cada tema y relación con los objetivos de salida de la profesión.

Para la caracterización del examen se tuvo en cuenta las siguientes variables: tipo de examen, tipos de preguntas en: ensayo de respuestas cortas, verdadero o falso, enlace o pareamiento, selección múltiple complemento simple, selección múltiple complemento agrupado y combinadas, y el niveles de asimilación en reproducción aplicación de técnicas y procedimientos Identificación y solución de problemas según clasificación de Salas Perea.15

Se constituyó un grupo de expertos con una selección intencional de 14 profesores de la Facultad de Estomatología que respondieron a los siguientes parámetros: poseer categoría docente superior, tener más de cinco años de experiencia en la docencia superior, y en la especialidad de Estomatología General Integral, capacidad para ofrecer una valoración conclusiva acerca del fenómeno estudiado, y hacer las recomendaciones con una competencia máxima. El grupo de experto presentó un promedio de 18,4 años de experiencia, un nivel de autopreparación para el tema de 7,8 en la escala de 10, y un coeficiente de competencia K de 0,73. Se utilizó el método de experto con la variante Delphi 15,18,19 para su ejecución (Anexos 1 y 2).

De los resultados de las evaluaciones se analizaron las preguntas con mayor dificultad en el examen con el objetivo de conocer las posibles insuficiencias metodológicas de las preguntas o del proceso docente educativo. Se clasificó como: de diseño si hubo problemas en su formulación, de falta de estudio del educando, o por falta de sistematización en el proceso docente.

Se determinó la calidad del diseño de las preguntas y claves de calificación en correspondencia con su formulación y los objetivos de salida de la carrera, expresado en muy adecuado, bastante adecuado, adecuado, poco adecuado y no adecuado; así como otros factores propios del proceso docente educativo que pudieron incidir en los resultados de las preguntas.15

Se revisó la redacción de las preguntas en correspondencia con la clave de calificación y se comprobó el cumplimiento de objetividad, pertinencia, equilibrio y equidad que mide la calidad de los instrumentos de evaluación, según los criterios de Guilbert.9

Los resultados obtenidos fueron llevados a una matriz y se calculó el coeficiente de concordancia estadístico, mediante la siguiente fórmula:

C = (1- Vn / Vt)

Donde:

Vn: cantidad de preguntas con formulación negativa.

Vt: cantidad de preguntas totales encuestadas.

Criterio de concordancia: C=0,80 Aceptado como formulación correcta de la pregunta.

Los criterios en deficiencia con el estudio o del proceso docente quedaron a opinión de los expertos, de acuerdo con el tema y la experiencia docente del trabajo en sistema y retroalimentación vertical de los contenidos.

Se utilizó el programa Excel del sistema operativo Windows 7, para los procedimientos estadísticos con números enteros, frecuencia simple, el porcentaje, la mediana y el promedio, para presentar los resultados en tablas para su análisis y comprensión.

RESULTADOS

Se analizaron los ejercicios correspondientes a la evaluación de la actuación profesional de los 146 estudiantes de la carrera de Estomatología del curso 2011-2012. El mayor porcentaje de evaluaciones de excelente correspondió al examen práctico y al rango de los 80 puntos al examen escrito, con el 54,8 %. La mediana de las notas fueron iguales para el examen práctico y la evaluación final con 95 cada uno, la del escrito fue inferior a ambas. Hubo dos desaprobados en el ejercicio escrito (Tabla 1).

En los resultados del examen escrito, comparado con la calidad de los estudiantes según el índice académico, se correspondió en la calificación de los excelentes (27,4 %) con los parámetros del índice académico de los altos rendimientos (28,1 %); por las notas obtenidas, en los alumnos de mediano rendimiento disminuyó la cantidad de estudiantes de 96 a 80 estudiantes y aumentó en los de bajo rendimiento de 9 a 26 estudiantes. La mediana se comportó, en su escala de calificación, hacia las cifras menores en el bajo (73,5) y alto rendimiento (93,5) y a un valor intermedio en el del mediano rendimiento (85,2). La mediana general de la evaluación escrita para el total de examinados fue de 86,3 (Tabla 2).

De los temas evaluados, los más explorados fueron los de Endodoncia con nueve preguntas para un 18,8 %; Prótesis y Odontopediatría con cinco para un 10,4 %, y con cuatro preguntas los de Parodoncia, Ortodoncia, y Epidemiología, para un 8,3 %. Todas de contenidos curativos, excepto la última. Los temas de promoción y prevención poco explorados (Tabla 3).

El mayor porcentaje de de errores estuvo en las preguntas de Atención a Pacientes Especiales con 105 estudiantes y 103 en Medicina Natural y Tradicional (MNT), ambos con una sola pregunta del tema. Los mejores resultados correspondieron al análisis de la situación de salud con 19 errores como promedio de estudiantes de las dos preguntas del tema, y cinco estudiantes en Estomatología Legal en su única pregunta.

El tema de Endodoncia resultó el de mayor valor en la calificación con 24 puntos; Prótesis, Ortodoncia y Odontopediatría con 9 puntos cada una; Parodoncia y Epidemiologia con 8 puntos respectivamente.

El examen estatal se estructuró con un total de 48 preguntas, según el nivel de asimilación predominó las preguntas reproductivas y por el formato se clasificó como un examen de respuesta estructurada, las más utilizadas fueron la de selección multiple de complemento agrupado con el 35,4 %, seguida de los verdaderos/falsos y de respuestas cortas con el 18,8 % respectivamente (Tabla 4).

Del total de las 48 preguntas del examen estatal escrito, ocho fueron las que presentaron resultados más bajos, para un 16,7 % de ellas, según los criterios de los expertos, el 59,1 % opinó existencias de problemas en el diseño con un criterio de concordancia menor a 0,80 en siete de ellas. Hubo dos preguntas en que todos los expertos la señalaron con deficiencia en su formulación, aunque también reflejaron en una de ellas falta de estudio y dificultad en el proceso docente. En las preguntas analizadas los expertos atribuyeron dificultades en la preparación de los estudiantes en el 25,9 % y en menor grado en el proceso docente con el 5,4 % (Tabla 5).

DISCUSIÓN

Al analizar los resultados procedentes de los ejercicios que constituyen el examen estatal se encontró correspondencia con los obtenidos por Chiu Navarro et al.6 en su trabajo del examen estatal de la carrera de Estomatología, realizado en 1997, donde plantean la necesidad de perfeccionar la elaboración del examen escrito, sin disminuir su rigor y que no resulte extenso y complejo. Díaz Roig et al.2 también informan bajas calificaciones en este tipo de ejercicio evaluativo y las dificultades metodológicas que tuvieron algunas de las preguntas. Díaz Cruz14 en sus estudio de los resultados en la especialidad de Estomatología General Integral concluye que las principales dificultades estuvieron en los resultados de los exámenes teóricos, los cuales no se corresponden con la labor del curso; así Travieso Pérez et al.11 ofrecen marcadas diferencias entre los dos ejercicios del examen estatal destacándose insuficientes resultados en el examen teórico considerado como base científica para el futuro desempeño profesional.

En los resultados alcanzados en el examen escrito y su relación al índice académico obtenido por los estudiantes hubo correspondencia entre los mismos, lo que coincidió con el planteamiento de Campello Trujillo et al.20 de que los estudiantes con mejores resultados académicos fueron los mismos que mantenían buenos hábitos de estudio. Los dos desaprobados pertenecían al grupo de índice académico de mediano rendimiento. Lo que de forma general se correspondió con la validez de criterio del instrumento evaluativo.15,21

Diferentes autores,9,11 reflejan las deficiencias en los exámenes estatales de distintas especialidades de pre y postgrado con respecto a la distribución de las preguntas por temáticas y su importancia en relación con el modelo del profesional que le corresponde. Al realizar el análisis de las preguntas del examen el grupo de experto coincidió en que no existe una distribución equitativa entre número de preguntas por temas. La distribución ponderal de la calificación no fue equitativa ni para los temas ni para el perfil de salida del egresado lo que afecta el equilibrio, equidad y discriminación del instrumento de evaluación.

Sobre la objetividad del examen se utilizaron diversos formatos de preguntas y los contenidos explorados son pobres y con un nivel de profundidad simple. Hay preguntas con dificultades en el diseño y la redacción. El examen tuvo un carácter reproductivo, lo que coincidió con Moreno Montañez.9,11

Sobre los resultados obtenidos en el análisis sobre la pertinencia de las preguntas de salida en función del modelo del profesional, hay preguntas muy específicas, de contenido no fundamental, que no se corresponden con el nivel del examen y no se exploró suficiente la promoción y la prevención, lo que coincide con Travieso Pérez et al.11 que reportan un desbalance entre los contenidos examinados en el examen estatal escrito de la especialidad de Estomatología General Integral, dado fundamentalmente por elementos teóricos de un elevado nivel de profundidad que de una u otra forma tributan a conocimientos relativos a otras especialidades, mientras que quedaron por evaluar contenidos trascendentales en el perfil de este especialista como promoción, prevención de salud y MNT. En el examen aplicado la mayor cantidad de preguntas estuvo dirigida a la atención curativa.

Con respecto a las preguntas del examen estatal escrito, según los criterios de los expertos, existió un predominio en las dificultades en el diseño de las preguntas con problemas en la evaluación, así como deficiencia en el estudio de los alumnos, lo que coincide con otros estudios donde se plantea las dificultades en la confección de las preguntas, pero también insuficiencia en la preparación de los estudiantes.9,11,20

A partir de la propuesta de aplicación del examen estatal teórico-escrito de Arencibia Rodríguez17 correspondiente al re análisis y procesamiento de los resultados, estos aspectos fueron considerados para la elaboración de una estrategia docente metodológica que permite actuar sobre las dificultades o deficiencias detectadas en el examen estatal escrito para perfeccionar el proceso docente educativo. Así los resultados alcanzados en las evaluaciones externas de carácter nacional y los exámenes estatales resultan un evento trazador de la calidad en la formación de los recursos humanos en salud.3

CONCLUSIONES

Los resultados de los excelentes se aproximaron a los rendimientos académicos. No hubo equidad en la exploración de los temas ni en el valor de la calificación de las preguntas según el perfil de salida del egresado y nivel de asimilación. En el examen predominaron las preguntas reproductivas y el formato de selección múltiple complemento agrupado.

Los errores se asociaron en mayor frecuencia al diseño y redacción de algunas preguntas, seguido por el insuficiente estudio y en menor grado a falta de sistematicidad en el proceso docente, lo que permitió determinar los aspectos con deficiencias para su intervención.

REFERENCIAS BIBLIOGRÁFICAS

1. Salas Perea RS. La evaluación en la educación superior contemporánea [CD ROM]. La Habana: ENSAP; 2005.

2. Díaz Roig I, González de la Cruz V, Ramírez Cruz C. El examen estatal escrito en la especialidad de medicina general integral. Rev Cubana Med Gen Integr [Internet]. 1998 Dic [citado 11 Jul 2012];14(6): 565-570. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21251998000600010&lng=es

3. Borroto Cruz R, Aneiros-Riba R, Baez Martínez JM. La evaluación externa de la competencia clínica en el contexto de la educación en ciencias de la salud [CD-ROM]. La Habana: ENSAP; 2005.

4. Carreño de Celis R, Salgado González L. Otros aspectos de la evolución histórica de la educación médica superior en Cuba desde 1959 hasta el 2004. Educ Med Super [Internet]. 2005 Sep [citado 30 Ago 2012]; 19(3):1-1. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412005000300008&lng=es

5.- Carreño de Celis R, Salgado González L, Fernández Oliva B, Alonso Pardo M E. Factores que intervienen en el proceso de formación de los profesionales universitarios de la salud. Educ Med Super [Internet]. 2009 Sep [citado 2012 Jul 04]; 23(3): Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412009000300008&lng=es

6. Chiu Navarro V, Rodríguez Méndez G, Alonso Pardo ME. Experiencia del examen estatal en la carrera de estomatología. Educ Med Super [Internet]. 1997 Jun [citado 2012 Sep 01];11(1):47-52. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21411997000100007&lng= S086421411997000100007&lng=es

7. Salas Perea RS, Hatim Ricardo A, Rey Bravo R. Sistema de monitoreo y control de la calidad de la competencia y el desempeño profesional. Educ Med Super [Internet]. 1997 [citado 04 Jul 2012];11(1):17-30. Disponible en: http://www.bvs.sld.cu/revistas/ems/vol11_1_97/ems04197.htm

8. Sánchez Díaz M. Breves comentarios teóricos sobre la evaluación, desarrollo y certificación de las competencias en información: A propósito de una revisión de la literatura. ACIMED [Internet]. 2008 Jul [citado 2012 Ago 29];18(1). Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1024-94352008000700005&lng=es

9. Moreno Montañez M, Quintana Regalado G. Caracterización del examen estatal escrito en la especialidad de Medicina General Integral. Educ Med Super [Internet]. 2009 Sep [citado 04 Jul 2012];23(3). Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412009000300003&lng=es

10. Fernández Oliva B, Soler Martínez C, Rodríguez Fontes R, Soler Cárdenas SF. Diseño y aplicación del Test de Habilidades Múltiples en el proceso selectivo de ingreso al destacamento Carlos J. Finlay. Educ Med Super [Internet]. 2004 Mar [citado 04 Jul 2012];18(1). Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412004000100004&lng=es

11. Travieso Pérez M, Guerra Pando J A, Concepción Obregón T, Otero Rodríguez I. Valoración integral del examen estatal de la residencia en estomatología general integral curso 2005-2006. Rev Ciencias Médicas [Internet]. 2007 Dic [citado 2012 Ago 14];11(5):168-73. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1561-31942007000500016&lng=es

12. Huamani, Charles, G, César y Mezones-Holguin, E. Correlación y concordancia entre el examen nacional de medicina y el promedio ponderado universitario: análisis de la experiencia peruana en el periodo 2007-2009. Rev Perú Med Exp Salud Pública [Internet]. 2011 Mar [citado 14 Agosto 2012]; 28(1):62-71. Disponible en: http://www.scielo.org.pe/scielo.php?script=sci_arttext&pid=S1726-46342011000100010&lng=es&nrm=iso

13. Aguado Ibarra M, Valdés Vento AC, González Corrales S, Llano Lazo MR, Sánchez Fuentes A L. Estudio comparativo de los resultados del examen estatal de medicina en los tres últimos cursos. Rev Ciencias Médicas [Internet]. 2004 Dic [citado 14 Ago 2012 ];8(3):23-32. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1561-31942004000300003&lng=es

14. Díaz Cruz CE, Rodríguez Cabrera K, Rosales Álvarez S, Cabrera Miló M M. Evaluación de los resultados de la especialidad de estomatología general integral. Pinar del Río. 2006. Rev Ciencias Médicas [Internet]. 2007 Nov [citado 29 Ago 2012] ;11(4):32-8. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1561-31942007000400002&lng=es

15. Salas Perea R. Calidad de los instrumentos de evaluación. Módulo Evaluación y recursos del aprendizaje. Material de estudio Maestría en Educación Médica [CD-ROM]. La Habana: Escuela Nacional de Salud Pública; 2005.

16. Hernández Rodríguez Y, Cruz Menor E, Bacallao Gallestey J, Guerra Paredes M, Linares Hernández L. Capacidad predictiva de algunos indicadores en el rendimiento docente de la asignatura Fisiología Médica. Educ Med Super [Internet]. 2008 Sep [citado 04 Jul 2012];22(3). Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412008000300002&lng=es

17. Arencibia Rodríguez M, Castellanos Laviña JC, Cruz Segundo R, Pérez Díaz TC, Cedré Cabrera A, Medina Gondrés Z. Evaluación estatal en la especialidad de medicina general integral: propuesta de examen teórico-escrito. Educ Med Super [Internet]. 2002 Jun [citado 11 Jul 2012];16(2): 94-105. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412002000200003&lng=es

18. Rodríguez Perón J M, Aldana Vilas L, Villalobos Hevia N. Método Delphi para la identificación de prioridades de ciencia e innovación tecnológica. Rev Cub Med Mil [Internet]. 2010 Dic [citado 22 Sep 2012];39(3-4): 214-26. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0138-65572010000300006&lng=es

19. Suárez Rosas L, Barrios Osuna I, González Espíndola M E. Metodología para la evaluación externa de la carrera de Estomatología. Educ Med Super [Internet]. 2012 Jun [citado 22 Sep 2012 ];26(2):271-93. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0864-21412012000200010&lng=es

20. Campello Trujillo LE, Capote Fernández M M, Real Bauza A. El estudiante de estomatología y su esfuerzo en el aprendizaje. Rev Cubana Estomatol [Internet]. 2012 Mar [citado 11 Jul 2012];49(1). Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0034-75072012000100011&lng=es

21. García Pérez RM, Pérez González R, Landrove Rodríguez O. Calidad de vida e indicadores de salud: Cuba, 2001-2002. Rev Cubana Hig Epidemiol [Internet]. 2004 Dic [citado 22 Sep 2012];42(3). Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1561-30032004000300002&lng=es


ANEXO 1. ENCUESTA A EXPERTOS

Con motivo de un análisis realizado al Examen Estatal Escrito que se aplicó en el pasado curso, le solicitamos como experto, su criterio y valoración de las preguntas que presentaron mayor frecuencia de errores en los estudiantes. Esto permitirá definir si los errores estuvieron ocasionados por deficiencias en su formulación o si obedecen a dificultades en el proceso docente educativo. Agradecemos su atención.

Categoría Docente: _______________________________

Años de experiencia docente________

Marque con una X el nivel que estime para su competencia en cuanto al tema que le consulto: _____________________________________

0 1 2 3 4 5 6 7 8 9 10

Fuentes de argumentación
Grado de influencia
Alto
Medio
Bajo
Literatura de autores nacionales y extranjeros
Sus análisis teóricos por cursos, diplomados o maestría
Por autopreparación
Su experiencia en la elaboración y análisis de instrumentos de evaluación
Su experiencia en el plan de estudio a evaluar
Su experiencia en el contenido a evaluar
Totales

Marque con una X en la casilla que corresponda las fuentes de su preparación en el tema.

A continuación realizará el análisis de las preguntas en que los estudiantes presentaron mayor dificultad y su clave de calificación, entregada en el adjunto, para que usted marque su criterio: si se corresponde con el nivel del examen, claridad en la formulación de la pregunta, calidad de la clave de calificación y su valor. En las casillas de otras causas marcar, en caso de que el diseño sea adecuado, los posibles factores que han incidido en los errores.

Tabla de frecuencias
Diseño de la pregunta y clave de calificación
Otras causas no imputables al diseño del examen
Pregunta Muy adecuado Bastante adecuado Adecuado Poco adecuado No adecuado Falta de estudio Del proceso docente
C1 C2 C3 C4 C5
P1
P2
P3
P4
P5
P6
P7
P8

 

 

Muchas Gracias

Observaciones (si las considera oportuna):
____________________________________________________________________________________________________________________________________

* Se adjunta temario y clave de calificación de las preguntas que presentaron deficiencias en el examen estatal escrito.

 


ANEXO 2. INSTRUCTIVO PARA PROCESAR DATOS DE CRITERIOS DE EXPERTOS

El conjunto de documentos reguladores y registros fue evaluado aplicando una variante del método de expertos de Delphi que se explica a continuación.

La selección de expertos se realizó con el cálculo del coeficiente de competencia K, el mismo se obtuvo K= (kc + ka) /2, donde kc es el coeficiente de conocimientos y ka el coeficiente ka de argumentación.

Para determinar kc (coeficiente de conocimientos): Se aplicó el método autovalorativo de Dembo-Rubinstein, que consiste en un segmento de recta dividido en 10 parte, de 0 a 1, el experto marca con una X , la estimación realizada de su competencia.

El coeficiente ka de argumentación: toma en cuenta las fuentes que empleadas por el experto al enfrentar el tema que se le consulta, y el peso que tiene cada una de esas fuentes en sus análisis.
Por tanto, K tendrá un valor entre 0 y 1.

K se consideró bajo si es menor que 0,5; alto si es mayor que 0,8 y medio en los restantes casos.

Se seleccionó los expertos con valores de coeficiente de competencia de alto y medio, a los que se le entregó los documentos con los elementos necesarios y suficientes para que el experto se pudiera pronunciar.

Cada experto pudo evaluar los aspectos al que se refiere cada pregunta, en 5 categorías: muy adecuado; bastante adecuado; adecuado; poco adecuado e inadecuado. Se totalizó el acumulado de frecuencia de cada celda evaluada por los expertos y se agruparon los criterios de adecuados, en positivos y los de poco adecuados-inadecuados, en negativos. Se consideró la aceptación de las preguntas como diseño adecuado de la pregunta y en caso negativo como insuficiencia en la formulación de la misma.

Los resultados obtenidos fueron llevados a una matriz y se calculó el coeficiente de concordancia estadístico, aplicando la siguiente fórmula:
C = (1- Vn / Vt)

Donde:
Vn: cantidad de preguntas con formulación negativa.
Vt : cantidad de preguntas totales encuestadas.

Criterio de concordancia: C=0,80 Se acepta como formulación correcta

Para los criterios en deficiencia con el estudio o del proceso docente quedó a opinión de los expertos, de acuerdo tema y a la experiencia docente del trabajo en sistema y retroalimentación vertical de los contenidos.

 

 

Recibido: 31 octubre 2012.
Aceptado: 02 mayo 2013.

 

 

Jacqueline Legañoa Alonso Doctora en Estomatología. Especialista de II Grado en Estomatología General Integral. Máster en Atención de Urgencias en Estomatología. Profesora Auxiliar. Universidad de Ciencias Médicas de Camagüey. Facultad de Estomatología. Carretera Central Oeste km 4½. Camagüey, Cuba. CP 70 100. jlegaa@finlay.cmw.sld.cu