Modelo teórico para la evaluación de impacto en programas de Salud Pública

ARTÍCULO

 

Modelo teórico para la evaluación de impacto en programas de Salud Pública

 

Theoretical model for the impact evaluation in Public Health programs

 

Marjoris Mirabal NápolesI, Joaquín Rodríguez SánchezII, Marina Guerrero RamírezIII, Maira Álvarez MuñozIV

I. Licenciada en Biología, Máster en Medicina Bioenergética y Natural, Profesora Asistente. Universidad de Ciencias Médicas de Camagüey. Departamento de Investigaciones. Dirección de Ciencia e Innovación Tecnológica (DCIT). Carretera Central Oeste Km 4½. Camagüey, Cuba, CP. 70700. maggy@finlay.cmw.sld.cu

II. Licenciado en Matemáticas, Máster en Investigación Educativa, Profesor Auxiliar. Universidad de Ciencias Médicas “Celia Sánchez Manduley”. Granma. Departamento de Investigaciones. Granma, Cuba. jrs@fcmb.grm.sld.cu

III. Licenciada en Inglés, Máster en Ciencias en Teoría y Práctica de la Enseñanza del Inglés Contemporáneo, Profesora Consultante. Universidad de Ciencias Médicas de Camagüey. Departamento de Inglés. Carretera Central Oeste Km 4½. Camagüey, Cuba, CP. 70700. emarina@finlay.cmw.sld.cu

IV. Licenciada en Biología, Máster en Enfermedades Infecciosas, Profesora Asistente. Facultad de Ciencias Médicas. Doctor Efraín Benítez Popa Departamento de Investigaciones. Carretera Central Santiago de Cuba Km 3½, Bayamo. Granma. malvarez@fcmb.grm.sld.cu

 

RESUMEN

La evaluación del impacto de los programas de salud es un campo interdisciplinario con un alto nivel de costo, especialización y complejidad, cuyo objetivo es incrementar el conocimiento acerca del impacto potencial del programa. En este trabajo se presenta un modelo que permite al investigador realizar una correcta evaluación del impacto, independientemente del programa evaluado. Se sugieren algunas recomendaciones para el perfeccionamiento de los métodos de evaluación vigentes.

Palabras clave: Evaluación en salud; indicadores de proyectos de investigación y desarrollo; salud pública 

 

ABSTRACT

Evaluating the impact of health programs is an interdisciplinary field with a high complexity, specialization and cost level; and its main objective is to spread out the knowledge about the potential impact of the program. In this work, it is presented a model that allows the researcher to make a correct evaluation of the impact, besides the evaluated program. Some recommendations are given to improve the current evaluating methods.

Keywords: Health evaluation; research and development project indicators;  public health

 

 

INTRODUCCIÓN

A nivel internacional hay un creciente reconocimiento de la importancia de la evaluación de determinados programas aplicados como medida para comprobar la eficacia, efectividad, utilidad, eficiencia, seguridad así como el costo-beneficio de una nueva y/o mejorada tecnología o servicio de salud, además del impacto que llevan implícito en la calidad de los servicios, la satisfacción y el bienestar de los usuarios, cada vez mejor informados, que demandan mejores resultados.

La Revolución cubana desarrolla un grupo de programas de salud relacionados con las estrategias y prioridades del sector que enmarcan diferentes líneas de investigación, por ejemplo: salud del adulto mayor, del adulto joven y salud ocupacional, discapacidades y desarrollo de aptitudes físicas y mentales en los niños, eficiencia y economía de la salud, gerencia de movilización de recursos, servicios de infraestructuras, introducción y evaluación de tecnologías sanitarias, entre otros con el fin de lograr la excelencia en los servicios del sector de la salud Se invierte un considerable por ciento del producto interno bruto (PBI) del país para el desarrollo de los mismos.

En los últimos años la Dirección de Ciencia y Técnica del Ministerio de Salud Pública (MINSAP) en consideración con los elementos de la planificación estratégica elaboró sus estrategias y objetivos priorizados, y extendió el Sistema de Ciencia e Innovación Tecnológica a otras unidades del Sistema Nacional de Salud en particular a la atención primaria y a un grupo importante de hospitales, con la incorporación de la investigación y la innovación a su accionar como actores sociales del Sistema.

La propia dirección ha planteado que en algunos de estos programas implementados, existe un desconocimiento del impacto real de estas introducciones en el sistema nacional de salud, tanto a nivel individual como colectivo, de usuarios, prestadores y directivos de la gestión en salud, así como de la metodología para la evaluación de este impacto, tanto en el tiempo como en su clasificación.1

En la caracterización preliminar de este proceso en entrevistas con directivos de diferentes niveles, profesionales de la salud de varias especialidades, estudiantes y pacientes se pudo constatar que la evaluación del impacto de determinado programa de salud generalmente se asocia con resultado de forma específica, aceptabilidad y satisfacción, no así el análisis de la infraestructura, y capital humano para poder evaluar el proceso seguido para la implementación de estos programas, incluso se utilizan determinados indicadores establecidos por la dirección política para establecer la emulación por el día de la rebeldía nacional, de manera cuantitativa sin tener en cuenta los aspectos cualitativos que en definitiva permiten poder tener una visión más objetiva de los componentes planteados por la Dirección de Ciencia y Técnica del MINSAP.

A partir de estas inquietudes el equipo de investigación propone a la dirección del CITMA un proyecto para evaluar el impacto de uno de estos programas relacionado específicamente con los Servicios Integrales de Rehabilitación en la provincia de Granma, pero antes se diseñó un modelo teórico-metodológico que permitiera evaluar el impacto de los programas de salud pública, este último es uno de los objetivos específicos del proyecto y que se valora en este artículo.

El término de evaluación de impacto en este contexto se refiere a la investigación  que  pretende medir los efectos cualitativos y cuantitativos de la intervención en grupos poblacionales específicos, que indaga en las consecuencias para la salud del paciente, en el proceso clínico, en el proceso docente educativo, en la formación del educando, en la accesibilidad a los servicios de atención, en la aceptabilidad del mismo y su repercusión en el plano económico, así como en la calidad de la atención brindada, en fin, en todos los efectos directos o indirectos que haya tenido el programa durante o después de la intervención en cada uno de los componentes antes mencionados. Cada uno de ellos incluye numerosas categorías y modos de ser evaluados, de manera que el campo de trabajo de las evaluaciones en la salud llega a ser muy extenso, tanto como tipos de intervenciones y problemas están relacionados con los sistemas de salud.

Cualquiera de estos componentes puede tener que ver con prevención, diagnóstico, tratamiento o rehabilitación lo que otorga una particularidad al modo como habría que evaluarlo. La tendencia actual es una evaluación más integradora y globalizadora, de manera que refleje en los momentos del proceso, el nivel de desarrollo alcanzado y las manifestaciones después de la intervención en las diferentes unidades y servicios de salud que aspiran a ser centros de excelencia.

Para ser profesionales de excelencia, las intervenciones deben ser evaluadas con el máximo rigor en dos sentidos: el aspecto técnico y la vertiente ética o moral. La práctica médica y de investigación en el contexto social de la salud pública cubana, es una actividad realizada por personas y dirigida hacia las personas; es una ciencia humana interpersonal, en la cual no existe la neutralidad.2

Por tanto, se plantea utilizar correctamente cada uno de estos componentes para evaluar el programa de salud y evitar la espontaneidad al realizar el proceso evaluativo, para ello deben cumplirse las normas y procedimientos establecidos al respecto; tener como hilo conductor del proceso la relación existente entre docencia- asistencia e investigación y considerar los elementos que permiten tener una visión del impacto del programa que ofrecen datos relevantes sobre la calidad de estos al establecer una adecuada relación entre estructura-proceso-resultados, porque quienes evalúan el programa, constituyen en gran medida los ejecutores de los mismos.

Se coincide con la autora Pérez Massip3 al considerar la calidad de los servicios de salud como el concepto que refleja la correspondencia de las características de los servicios ofertados a la población con el sistema de normas valorativas explícitas e implícitas que existen en un momento determinado en una sociedad concreta. Se han reconocido las siguientes dimensiones de la calidad: componente científico-técnico, accesibilidad, efectividad, satisfacción y eficiencia.

En la revisión científica se constató que en la actualidad no se cuenta con los suficientes recursos metodológicos que faciliten una evaluación de impacto que refleje en su más amplia gama los aspectos relacionados con la calidad. Para la evaluación de impacto de cualquier programa de salud, será necesario disponer de un instrumento que permita operacionalizar el concepto de evaluación de impacto en salud en correspondencia con las características particulares del mismo y su relación con las esferas de actuación de los implicados.

A partir de estas premisas la propuesta del modelo teórico sienta sus bases en la aplicación de una metodología con un sistema de indicadores y criterios que permiten medir la efectividad y el impacto de los programas priorizados por el sector de la salud, considera las intenciones del programa, las metas, los procedimientos que se aplican y la relación estrecha entre calidad y los componentes para medir impacto en Cuba.

 

DESARROLLO

Históricamente la evaluación, como disciplina y como práctica, ha evolucionado en pos de abarcar la solución de los problemas sociales. A propósito de la evaluación, varios autores manifiestan que es un proceso que posibilita el conocimiento de los efectos de un proyecto o programa en relación con las metas propuestas y los recursos movilizados. La evaluación trata de determinar la pertinencia de los objetivos y su grado de realización, la eficiencia en cuanto al desarrollo, la eficacia, el impacto y la viabilidad.

En la bibliografa se enfatiza en que se deben adecuar los indicadores de medicin al tipo de situacin o accin que se determine evaluar.4 Segn se afirma la evaluacin es el clculo para calificar y medir el logro y la forma de satisfacer los objetivos propuestos de un determinado sistema o unidad y plantea que una evaluacin integral requiere considerar la continuidad del proceso de evaluacin, su carcter cientfico, la inclusin de las expectativas de los usuarios, tanto internos como externos, las oportunidades y las amenazas existentes en el entorno; as como la complejidad de los elementos que integran el fenmeno de evaluacin: la misin y los objetivos de la institucin, las metas, la visin, las estrategias, los portentos, acciones, productos, servicios, recursos, eficiencia y eficacia, beneficios e impacto5

Este ultimo criterio va ms all de establecer indicadores y centra sus criterios en la sostenibilidad de los resultados, la relacin entre estructura - procesos y la relacin intrnseca entre los actores implicados en la puesta en prctica de determinado programa, aspectos bsicos para que evaluar impacto en salud.

Se entiende por evaluacin de impacto, el anlisis que tiene como objetivo determinar de manera ms general si un programa produjo los efectos deseados en las personas, hogares e instituciones y si esos efectos son atribuibles a la intervencin del programa,6 Sandoval y Muoz7 opinan que adems de medir los cambios en el bienestar de los individuos, los objetivos de este tipo de evaluacin son proveer informacin y ayudar a mejorar la eficacia y calidad del programa.

La Asociación Internacional de Evaluación de Impacto ofrece, en los Principios Internacionales de la Evaluación del Impacto, una definición que engloba los conceptos antes citados, en la que se consigna que “[…] La evaluación del impacto comprende los procesos de análisis, seguimiento y gestión de las consecuencias sociales, voluntarias e involuntarias, tanto positivas como negativas, de las intervenciones planeadas (políticas, programas, planes, proyectos), así como cualquier proceso de cambio social, invocado por dichas intervenciones […]” 8 Esta definición es más abarcadora por cuanto refleja todos los cambios que puede producir una acción en un determinado grupo social.

Los autores de este estudio plantean, que de una forma u otra, todos los conceptos coinciden en contemplar la evaluación de impacto como: valoración cualitativa y cuantitativa de los efectos de la aplicación de un proyecto o programa en grupos poblacionales específicos, que indaga en las consecuencias, tanto buscadas, como otras derivadas de la apreciación integral de pertinencia, efectividad, eficiencia, eficacia, sostenibilidad y calidad de los mismos.

Según estos criterios estas definiciones permiten comprender los puntos esenciales, y necesarios de toda evaluación, recoger información de objetivos y frecuencias, valorar la información obtenida con respecto a las necesidades iniciales, para tomar una decisión de manera que haya mejora en el desarrollo de las intervenciones, vistas estas como acciones dirigidas a modificar hábitos, actitudes, o condiciones medio ambientales que constituyen factores de riesgos para la salud, en individuos o poblaciones, a partir de la aplicación de un programa.

Las intervenciones con un impacto real en la salud de las poblaciones deben tener un enfoque global y ser de nivel estructural, con medidas de salud pública decididas a nivel polí­tico, los responsables de ponerlas en marcha deben implicarse en el proceso de toma de decisiones y en la posterior evaluación de su efectividad. Una de las particularidades de la evaluación de impacto es precisamente reflejar el resultado que han tenido los programas antes, durante o luego de su implementación y que debe cumplir entre otras características, con las siguientes: ser multidisciplinar, intersectorial, utilizar variedad de métodos diversos, manejar información cuantitativa y cualitativa, priorizar grupos de riesgos y ser participativa.

La Dirección General de Salud y Consumo de la Comisión Europea9 publicó una guía en la que se detallan las bases y los pasos necesarios para realizar una Evaluación de Impacto en Salud, planteando la valoración de la pertinencia, definición del alcance de la evaluación, asesoramiento, divulgación, monitorización y evaluación de resultados aspectos que se tienen en cuenta en el análisis teórico realizado, pero que no es posible aplicar en Cuba de manera íntegra por las características particulares y únicas del sistema de salud.

La labor de evaluación de impacto conlleva múltiples dificultades, muchas de ellas de orden metodológico:

  • Falta de disponibilidad de información.
  • Ausencia de personal calificado para efectuar el trabajo.
  • Carencia de metodologías adecuadas para su desarrollo.
  • Falta de un sistema de evaluación y monitoreo, por lo que no se conoce el proceso desarrollado.

La evaluación de impacto tiene diferentes modalidades y posibilidades no excluyentes unas de otras. Al evaluar un programa de salud pública, el escenario es de tal complejidad que requiere la adaptación de estrategias y procedimientos múltiples.

Varios autores y agencias como Itzcovitz,10 Red de Indicadores de Ciencia y Tecnología Iberoamericana e Interamericana (RICYT),11 Orozco,12 Lago,13  Smith,14 Quevedo,15 Albornoz16, Libera Bonilla17 entre otros han realizado aportes en función de la evaluación de impacto en diferentes esferas y su incidencia en el impacto social referidas esencialmente a estudios medioambientales y estudios sobre indicadores cienciométricos vinculados a investigaciones sobre costos- beneficios de determinadas tecnologías y que determinan en alguna medida el desarrollo de la ciencia del país. La descripción detallada de las diferentes opciones va más allá del alcance de este artículo. Se mencionarán dos de ellas que representan categorías amplias y posibles de aplicar en Cuba.

  • La evaluación mediante la investigación.
  • La evaluación por indicadores.

La evaluación basada en investigación se utiliza para hacer evaluación por diferentes motivos, uno de ellos es que la investigación le aporta rigor a la evaluación y que los métodos utilizados en la investigación pueden adaptarse para el logro de los fines evaluativos. Aunque se cuente con un sistema de evaluación con sus diferentes componentes, la evaluación de impacto es un área específica que ofrece un conocimiento particular. Aún así, directivos y evaluadores deben estudiar con cuidado la necesidad y aplicabilidad de la evaluación de impacto mediante investigaciones u otros métodos. La evaluación basada en la investigación debe afrontar las dificultades teóricas y prácticas de utilizar modelos experimentales o cuasi experimentales, en situaciones que no son necesariamente las más propicias para estos métodos.

Otra cuestión vinculada a la evaluación, es la sumisión fetichista a los indicadores. Es común hallarla en el contexto de planes y programas cuando se usan para la fijación de metas numéricas. En principio, la fijación de tales metas tiene el mérito de colocar el programa en un marco medible, y se plantea que solo en ese caso podrán evaluarse oportuna y objetivamente sus resultados. El inconveniente es que, por lo general, el modo en que esas metas se han fijado constituye un verdadero misterio, de modo que se está ante el fenómeno de la pseudobjetividad.18

Una alternativa a la realización de estudios específicos de impacto, es la utilización de datos de fuentes nacionales confiables, además de las estadísticas de los diferentes departamentos de hospitales y policlínicos que constituyen fuentes de datos parcialmente explotadas sobre las cuales pueden realizarse estudios específicos y aprovechar que en los diferentes años de estas estadísticas aparecen datos comparables.

Lozano Casanova19 plantea que el impacto se mide constatando los resultados y colocándolos en correlación con la intención inicial. No obstante, es válido aclarar que la evaluación por impacto se asocia, no con los resultados propiamente dichos, sino con los beneficios o efectos de dichos resultados, vinculando las alternativas que se tienen para realizar este tipo de evaluación mediante la investigación y con el uso de indicadores.

Dentro de las posibilidades de evaluación por indicadores, puede utilizarse la opción de indicadores trazadores. Este tipo de evaluación no se basa en investigaciones sino en sistemas de información que suministran datos. La evaluación por indicadores es la que posibilita un acercamiento mayor a la realidad, independientemente de utilizar métodos cualitativos a la hora de establecer un resultado final de impacto. Los indicadores permiten operacionalizar la variable que se persigue someter al proceso de evaluación, éstos como variables son de carácter empírico, instrumental y operacional, que pueden ser cualitativos y/o cuantitativos, ofrecen información relevante en las investigaciones y están asociados a otras variables más complejas, es decir, adquieren significación dentro del contexto investigativo, por lo que no poseen una existencia independiente, ni del investigador, ni de la teoría.

La determinación de los indicadores está precedida por una valoración teórica del objeto de estudio en cuanto a sus particularidades y de las investigaciones realizadas anteriormente. Por tanto, solo a partir de la teoría es que se pueden precisar cuáles son idóneos para investigar el objeto, y su precisión debe contener la fundamentación correspondiente de su conveniencia, de lo contrario no habría rigor científico en su selección en cuanto a su pertinencia, eficacia, eficiencia y sostenibilidad.

La documentación relacionada con la puesta en práctica de los programas de salud pública y el modo de evaluarlo exponen algunos indicadores, pero no especifican qué componente puede ser evaluado con el mismo, de ahí que la metodología que se propone sea más particular de acuerdo al programa que se decida evaluar, por ejemplo: El primer acercamiento a la medición del impacto en el proceso clínico debe ser cualitativo, mediante reuniones de grupos o entrevistas en profundidad en las cuales el personal de salud responde a preguntas relacionadas con el funcionamiento del programa de forma general.Cuando se haya respondido a esas preguntas, el evaluador será capaz de tener una visión global del impacto del sistema en lo que atañe al personal de salud. Esta visión general podrá ampliarse estudiando el impacto en cada uno de los aspectos que constituyen el acto médico. Impacto en el proceso diagnóstico, en el proceso terapéutico y en el proceso organizativo, para los que previamente el evaluador habrá formulado los indicadores.

Es de vital importancia tener en cuenta estos aspectos en la construccin de un modelo para la evaluacin de programas en salud por la significacin en el plano terico, y como gua para la implementacin prctica del mismo a partir del anlisis del conocimiento sistematizado en el campo de la evaluacin que sirven como base para plantear los fundamentos tericos-metodolgicos en el estudio.

Para plantear los elementos que deben conformar el modelo fueron utilizados los métodos del nivel teórico, el histórico-lógico, para el estudio y determinación de las principales exigencias que se plantean en la evaluación de impacto de los diferentes programas de salud; la modelación y enfoque sistémico a partir de determinados presupuestos en el orden teórico-filosófico permitió analizar que cada modelo evaluativo constituye un elemento del conjunto denominado proceso evaluativo, el mismo valora aspectos distintos del mismo objeto y el enfoque sistémico-estructural-funcional se utilizó en la concreción del modelo teórico-metodológico.

Los autores se acogen a la definición de Arredondo, M. y col. quienes definen como modelo: una “[…] construcción teórica caracterizada por un nivel de abstracción”20 y expresan como características fundamentales de los modelos teóricos las siguientes: conjunto de supuestos acerca de algún objeto o sistema, describen un tipo de objeto o sistema atribuyéndole lo que pudiera  llamarse una estructura interna, una composición o un mecanismo que explicará al tomarlo como referencia, diversas propiedades de ese objeto o sistema, se consideran una aproximación útil para ciertos propósitos.

El procedimiento a seguir para la determinación de indicadores de esta naturaleza en cualquier actividad, según explica Fernández de Alaiza21 es el siguiente:

“Partir del concepto general del objeto que se desea evaluar y dividirlo en sus variables; si estos no son medibles directamente, deben de ser representados por indicadores, los cuales son seleccionados en base a posible hipótesis sobre sus relaciones, principalmente de causa y efecto con la variable que representa.’’ Una vez establecido el nuevo concepto general, los datos serán recogidos para darles un nuevo valor a los indicadores.

En este trabajo el proceso para la determinación de los indicadores coincide con el expuesto por la autora señalada anteriormente; se parte del concepto de evaluación de impacto en salud, se toman los elementos relacionados con los componentes planteados en las metodologías consultadas, específicamente los planteados por la Dirección Nacional de Ciencia y Técnica del MINSAP, se definen como variables, y a partir de estos se determinan los indicadores y criterios que son imprescindibles para medir esta evaluación, indicadores que serían específicos para cada programa a partir de la realidad del escenario donde se esté aplicando.

De los métodos del nivel empíricos se emplearon la observación, el criterio de expertos, el análisis de documentos. Los métodos estadísticos fueron utilizados para el procesamiento de la información obtenida a través del criterio de expertos, la determinación de medidas de la estadística descriptiva. El análisis-síntesis, la abstracción-concreción y la inducción-deducción, como procedimientos lógicos del pensamiento se utilizaron durante todo el proceso de la investigación para la conformación del modelo.

El proceso de aplicación práctica de la concepción sistémica para una categoría específica de evaluación se produce por fases, durante las cuales se lleva a cabo el diseño y establecimiento de cada uno de sus elementos. Cada una ellas está conformada por etapas, y estas últimas, por acciones.

Fase I: Estado actual de la evaluación de impacto en salud.

Fase II   Diseño de la metodología de evaluación impacto.

Fase III Puesta en práctica del sistema de indicadores diseñado.

Fase IV Evaluación de impacto general.

 

Etapas de la Fase I:

1- Diseño de instrumentos evaluativos.

2- Puesta en práctica de los instrumentos elaborados.

3-Determinación de las principales necesidades para evaluar impacto.

 

Acciones de la etapa I

Primera: Precisión del alcance de los objetivos.

Segunda: Precisar el contenido donde van implicados los indicadores que posibiliten medir el impacto.

Tercera: Determinación de los principales métodos y técnica para obtener la información.

Con el propósito de lograr la mayor información posible en correspondencia con los objetivos precisados en el diagnóstico se utilizan las siguientes vías:

1- Revisión de la documentación relacionada con el objeto de estudio

  • Programas ramales del Ministerio de Salud Pública y programas territoriales auspiciados por el Ministerio de Ciencia Tecnología y Medio Ambiente.
  • Estrategias para la implementación, funcionamiento y control de los programas ramales de la Dirección Nacional de Ciencia Técnica.
  • Protocolos de urgencias para los programas establecidos.
  • Guías de evaluación de los indicadores por la emulación del 26 de julio en cada territorio y a nivel provincial.
  • Documentos normativos sobre la puesta en práctica de los programas de la Revolución.
  • Evaluación de impacto en salud. Metodologías más usadas en la actualidad.
  • Metodología para la evaluación de impacto de las tecnologías sanitarias aplicadas en la atención primaria de salud propuesta por la Dirección Nacional de Ciencia Técnica.

2- Realización de entrevistas y encuestas a:

  • Grupos de trabajos de atención primaria de salud a nivel provincial y municipal.
  • Directivos de diferentes niveles y sistema de atención de salud.
  • Profesionales de la salud.
  • Estudiantes en formación.
  • Pacientes.

Con la información lograda a partir de la implementación de la tercera acción se determinan las necesidades fundamentales y se precisarán los siguientes procedimientos:

  • Tratamiento crítico a la información adquirida.
  • Valoración cualitativa y cuantitativa de los resultados alcanzados durante el procesamiento de la información.
En la primera etapa de la Fase II se valora la pertinencia de la metodología propuesta a partir del análisis planteado en las metodologías usadas en la actualidad para evaluar impacto en correspondencia con sus características, objetivos, alcance y las exigencias del MINSAP en Cuba. En esta etapa se procede a la realización de acciones:

A.- Creación del Equipo de Trabajo para la evaluación de impacto

Compuesto por profesionales de la salud con experiencia en el tema, con tareas bien definidas a partir del perfil de formación científico-técnico de cada colaborador.

B.- Selección de los componentes a evaluar, escogidos como variables. Para cada componente el investigador debe establecer indicadores propios del programa a evaluar, relacionado con la calidad (estructura, proceso y resultado)

- Impacto en el proceso clínico;

- Impacto en el proceso docente educativo;

- Impacto en la salud del paciente;

- Impacto en la formación del educando;

- Impacto en la accesibilidad;

- Impacto en la aceptabilidad;

- Impacto económico.

C.- Preparación de la propuesta:

- Análisis de la información cualitativa obtenida sobre la evaluación de impacto de los componentes propuestos.

- Análisis de las características de la evaluación de impacto que deben tenerse en cuenta.

D.- Aprobación de la metodología para la evaluación de impacto en salud. Incluye:

- Identificación y aprobación de las tareas antes mencionadas para determinar los impactos cualitativos en la aplicación de los programas ramales y/o territoriales.

- Establecimiento de indicadores y criterios para la evaluación de impacto cuantitativo a partir del modelo.

E.- Evaluación de impacto cuantitativo de los programas. Incluye:

- Medición de los indicadores propuestos.

- Propuesta de medidas correctoras al proyecto de ser necesaria, según la categoría de impactos detectados en general y en grupos favorecidos.

- Elaboración de informe final.

- Presentación, análisis y discusión de los resultados de la evaluación de impacto, a los directivos por ser ellos los máximos responsables de la toma de decisiones y el progreso o retroceso de los programas evaluados.

Para la determinación de los elementos de la metodología propuesta en el modelo, se realizaron consultas en la parte exploratoria o inicial de la investigación a personas con experiencia en la aplicación y evaluación del programa de salud, con el propósito de tener una visión de los puntos de vistas asumidos a partir del análisis teórico y de la evaluación cualitativa realizada. En estos intercambios se confrontaron opiniones y criterios importantes así como la aceptación de fundamentos que permitieron la valoración integral del problema objeto de estudio.

Conocer la opinión de los actores fundamentales de este campo del saber es una de las formas posibles de proyectarse hacia el futuro dentro de los lapsos razonables; por lo tanto, conocer qué piensan los profesionales de la salud respecto a las necesidades detectadas en su institución, que puedan constituir prioridades de solución científico-tecnológicas, requiere de una investigación con una metodología estandarizada como la realizada con vista a proyectar el trabajo científico y de innovación tecnológica sobre bases bien fundamentadas.22

Posterior al análisis teórico se confeccionó “un modelo inicial” que sería expuesto a los expertos para su validación. Los elementos propuestos tienen su punto de partida en los aspectos relacionados con el control y fortalecimiento del Sistema de Ciencia e Innovación Tecnológica (SCIT) emitido por la Dirección Nacional de Ciencia y Técnica en los últimos cinco años, donde se definen las primacías del sector, y la evaluación de impacto constituye una de estas prioridades. Además, se tomaron en consideración las recapitulaciones que se relacionan en las metodologías para la evaluación de impacto y que en esencia se corresponden con el estudio realizado.

Se consideraron los siete componentes en la metodología diseñada para la evaluación de tecnologías sanitarias en la atención primaria de salud y se le brindó una especial atención a la vinculación de los componentes docentes- asistencial - investigativos, y a los elementos relacionados con la calidad de los servicios (estructura-proceso-resultado).

Los elementos fueron valorados desde las exigencias estándares propuestas, operacionalizadas en un conjunto de cuatro fases, en las que aparecen etapas, acciones y vías específicas para complementar las mismas y permiten dar salida con exactitud a la evaluación propuesta para cada programa.

Las fases y etapas establecidas se sometieron a la consideración de criterio de expertos para confirmar su validez. Se tuvo en cuenta la metodología emitida por Campitrous Pérez L y Rizo Cabrera Celia,23 según la cual se escogió el grupo de expertos y se realizó el análisis estadístico de los criterios tributados por cada uno de ellos.En la parte inicial fueron seleccionados 20 especialistas con el fin de utilizar los 15 que mejor nivel de competencia alcanzaran como expertos; para lo cual se aplicaron algunos procedimientos orientados en la metodología citada.

Como resultado de las sugerencias de los expertos, se considera que las fases uno y dos son imprescindibles para realizar una correcta evaluación de impacto, por estimar que a partir del diagnóstico se determinan las acciones para el trabajo en equipo con tareas definidas para cada programa que se evalúa. Se determinan los resultados medibles de impacto en relación con los componentes en el proceso clínico, docente educativo, en la salud del paciente, en la formación del educando, en la accesibilidad, aceptabilidad y el impacto económico.

Los expertos comparten el criterio al exponer que los indicadores que se planteen tienen igual peso para evaluar las variables, a raíz de la funcionabilidad en sistema de cada uno de los componentes y reconocen los criterios relacionados con la evaluación de impacto, con énfasis en los aspectos que propicien la vinculación docencia-asistencia-investigación ya que son los elementos que por mayoría han coincidido en que son muy adecuados. Anexo I. (Tabla 1).

Fue aceptado el modelo por los expertos, coincide el 87,3 % del total de los especialistas y exponen que el modelo presentado con el desarrollo de la metodología propuesta, permitirá perfeccionar la evaluación de impacto en salud, porque permite: Tener información precisa para la toma de decisiones, aportar información al directivo, funcionario o metodólogo y la incidencia en los diferentes contextos de su actuación en la actividad de dirección de forma general, detectar y prever situaciones propias del sistema, anticiparse a cambios en la labor que realiza el profesional, realizar comparaciones objetivas durante el desarrollo del programa, estudiar las tendencias evaluativas que se producen en determinado ámbito y perfeccionar una información relevante sobre el programa que aplican.

 

CONCLUSIONES

Desde la concepción teórica de los autores se debe entender que la evaluación constituye el proceso que determina, de manera sistemática y objetiva, la pertinencia, eficiencia, eficacia e impacto de los programas en relación con los objetivos planteados para su implementación, con la finalidad de mejorar el desarrollo de las acciones, que contribuya a la planificación, programación y toma de decisiones.

El modelo diseñado es un referente teórico para evaluar el impacto de los programas de salud pública, porque integra entre su aspectos fundamentales el aspecto técnico y la vertiente ética, además, constituye una tarea relevante en el proyecto territorial del CITMA que pretende evaluar el impacto de uno de estos programas de salud específicamente el de los Servicios Integrales de Rehabilitación en la provincia de Granma.

Todos los expertos consideraron que la propuesta es pertinente y puede ser eficaz su aplicación. Predominó la categoría de muy adecuado respecto al nivel de aceptación de la metodología propuesta por lo que se considera que la misma contribuirá a la toma de decisiones por parte de los directivos y permitirá incrementar la calidad de los servicios de salud en la atención primaria.

 

REFERENCIAS BIBLIOGRÁFICAS

1. Cabrera Cruz N, Quiñones I, Álvarez Blanco A, Gómez Martínez F. Resultados de investigación para el sector de la salud en Cuba, 2006. Rev Cubana Salud Pública 2008; 34(2):2.

2.Benítez Hernández I. Ética de la investigación científico-médica desde la perspectiva de la atención primaria de salud. Rev Cubana Salud Pública 2008; 34(3):5.

3. Massip Pérez C, Ortiz Reyes RM, Llantá Abreu M, Peña Fortes M, Infante Ochoa I. La evaluación de la satisfacción en salud: un reto a la calidad. Rev Cubana Salud Pública 2008; 34(4):4.

4. González L. La evaluación ex - post o de impacto: un reto para la gestión de proyectos de cooperación internacional al desarrollo. Disponible en: http://www.imacmexico.org/filedownload.php?location=SU&filename=11562706871Evaluación de impacto.pdf

5. Rojas Benítez JL. Herramientas para la evaluación de los servicios de información en instituciones cubanas. [Tesis para optar por el título de Doctor en Ciencias en Bibliotecología y Ciencias de la Información]. La Habana: Facultad de Comunicación. Universidad de La Habana; 2001).

6. Cohen E, Franco R. Gestión Social. Cómo lograr eficiencia e impacto en las políticas sociales. México DF: Siglo XX Editores; 2008.  

7. Sandoval JM, Richard Muñoz MP. Los indicadores en la evaluación del impacto de programas. Sistema integral de Información y Documentación. 2008. Disponible en: http://www.worldbank.org/poverty/spanish/impact/overview/howtoevl.htm 24-06-2005

8. González L. La evaluación ex - post o de impacto: un reto para la gestión de proyectos de cooperación internacional al desarrollo. Disponible en: http://www.imacmexico.org/filedownload.php?location=SU & filename=11562706871Evaluación de impacto.pdf

9. Scott-Samuel, A. Birley M. Ardern K. The Merseyside Guidelines for Health Impact Assessment. Liverpool: Impact; 2007

10. Itzcovitz V, Fernández Polcuh E, Albornoz M. Propuesta metodológica sobre la medición del impacto de la C y T sobre el desarrollo social.RYCIT. 1998. http://www.ricyt.org/interior/biblioteca/docs/viefpma.pdf

11. RYCIT. Manual de Bogota. Normalizacion de Indicadores de Innovación en America latina y el Caribe. marzo de 2001. http://www.ricyt.org/index.php?option=com_docman&task=doc_do (último acceso: octubre de 2009).

12. Orozco L A. ¿Cómo medir el impacto de las políticas de ciencia y tecnología? Revista CTS. 2005; 4: 125-146.

13. Lago Pérez L. Metodología general para la evaluación de impacto ambiental de proyectos. Madrid: Espasa Calpe, 1997.

14. Smith R. Measuring the social impact of research. British Medical Jornal. 2001;323(8):6.

15. Quevedo V. Midiendo el Impacto. http://www.oei.es/salactsi/Cuba.pdf

16. Albornoz M. Alcances y limitaciones de la noción de impacto social de la ciencia y la tecnología. Revista CTC. 2005;4(2):73-95.

17. Libera Bonilla ES. Impacto, impacto social y evaluación del impacto. Acimed 2007; 15(3):2. Disponible en:http://bvs.sld.cu/revistas/aci/vol15_3_07/aci08307.htm

18. López Pardo CM. Alonso Galbán P. Definiciones, características y problemas en el empleo de indicadores en salud. Rev Cubana de salud pública. 2011; 37(2):6. Disponible en: http://bvs.sld.cu/revistas/spu/vol37_02_11/spu11211.htm

19. Lozano Casanova J, Saavedra Roche RM, Fernández Franch N. La evaluación del impacto de los resultados científicos. Metodologías y niveles de análisis. Rev Hum Med [revista en la Internet]. 2011 [citado 2011 Nov 03]; 11(1): 99-117. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S1727-81202011000100007&lng=es.

20. Arredondo M y Col. La modelación en el proceso de enseñanza aprendizaje. La Habana, Cuba: Editorial Pueblo y educación; 1996. 

21. Fernández M. Sistema de indicadores de Ciencia e Innovación Tecnológica. CITMA, La Habana, Cuba; 1996.

22. Rodríguez Perón JM, Aldana Vilas, Villalobos Hevia N. Método Delphi para la identificación de prioridades de ciencia e innovación tecnológica. Rev Cub Med Mil [revista en la Internet]. 2010 Dic [citado 2011 Nov 03]; 39(3-4): 214-226. Disponible en: http://scielo.sld.cu/scielo.php?script=sci_arttext&pid=S0138-65572010000300006&lng=es.

23. Campistrus L, Rizo Cabrera C. Indicadores e Investigación Educativa. In: Médicas EC, editor. Metodología de la Investigación Educacional: Editorial Ciencias Médicas; 2006. p. 138-67.

 

ANEXO

Tabla 1

Resultados del criterio de Expertos. Método Delphi.

Aspectos

MA

BA

A

PA

SUMA

Promedio

N-P

Evaluación

A1

0,0837

1,5011

1,5011

3,4900

6,5758

1,64395591

-0,1447

MA

A2

-0,0837

1,5011

3,4900

3,4900

8,3974

2,09935855

-0,6001

MA

A3

0,2533

0,8416

1,5011

3,4900

6,0861

1,52151357

-0,0223

MA

A4

-0,6229

0,0837

3,4900

3,4900

6,4407

1,6101815

-0,1110

MA

A5

0,0837

3,4900

3,4900

3,4900

10,5537

2,63841293

-1,1392

MA

A6

0,4307

1,5011

1,5011

3,4900

6,9229

1,7307248

-0,2315

MA

Suma

0,1448

8,9185

14,9733

20,9400

44,9766

11,2441473

 

 

Prom.

0,024133

1,486421

2,4955429

3,49

 

 

 

 

 

 

0,024133

 

1,486421

 

2,4955429

MA

 

BA

 

A

 

Leyenda

A1: Concepción teórica y práctica del contenido abordado que refleje los principios teóricos que los sustentan.

A2: Concepción estructural y funcional de la metodología propuesta con que permite una correcta evaluación de impacto y su influencia en los servicios, para dar cumplimiento a los objetivos trazados.

A3: Requerimientos técnicos, materiales y humanos para aplicar el modelo.

A4: Aceptación del modelo, como solución al problema y posibilidad real para evaluar el impacto de programas en salud pública, a partir de los componentes identificados.

A5: Correspondencia entre las tareas y acciones planteadas en la metodología a desarrollar por el equipo de trabajo y las posibilidades reales de realizarlas.

A6: Contribución del modelo propuesto para incrementar el nivel de desarrollo de los profesionales en los aspectos docentes-asistenciales e investigativos

 

M.A: Muy adecuado.      B.A: Bastante Adecuado.    A: Adecuado.   P.A: Poco Adecuado.     I: Inadecuado

 

 

Entrada: 18/10/2011

Aprobado: 7/6/2012

 

 

Marjoris Mirabal Nápoles. Licenciada en Biología, Máster en Medicina Bioenergética y Natural, Profesora Asistente. Universidad de Ciencias Médicas de Camagüey. Departamento de Investigaciones. Dirección de Ciencia e Innovación Tecnológica (DCIT). Carretera Central Oeste Km 4½. Camagüey, Cuba, CP. 70700. maggy@finlay.cmw.sld.cu