lunes, 25 de febrero de 2013

Monitoreo, Seguimiento y Evaluación


Edwin Rolando García Caal

Muchas personas, empresas e instituciones utilizan indistintamente las palabras del título de este artículo. Pero ¿cuál es la palabra correcta? Un recorrido teórico por diversas interpretaciones nos permitirá ampliar el panorama. No obstante para iniciar utilizaremos como punto de partida la siguiente frase: “el monitoreo, el seguimiento y la evaluación son acciones que se realizan sobre un mismo quehacer institucional (proyecto institucional), un mismo proceso empresarial (proyecto económico) o un mismo desarrollo individual (proyecto de vida); cuando estas instancias buscan alcanzar uno o varios objetivos previstos.  En ese sentido, para simplificar el destino del monitoreo, el seguimiento y la evaluación, diremos que los tres conceptos se aplican a proyectos de naturaleza diversa.

La palabra monitoreo, no es lo mismo que seguimiento, dado que la segunda define un sistema. El Monitoreo sugiere una posición estática, como quien está viendo un monitor desde su lugar o está a la par de un trabajador para verificar que cumpla con los procedimientos. Seguimiento implica el movimiento hacia una ruta de un proceso. De ahí que hablemos de un viaje, un trayecto y de los recursos técnicos para emprenderlo (UNAN, 2007).

El monitoreo se conoce cuando involucra a los beneficiarios y no solamente al personal del proyecto (ICCO, 2000).

Monitoreo significa observar y recolectar información de cada proceso. Seguimiento significa un análisis sistemático de todos los procesos en su conjunto para así verificar si seguimos ‘en el rumbo’ correcto. El monitoreo garantiza el resultado. El seguimiento evalúa el resultado. El seguimiento evalúa los medios empleados y los resultados intermedios para ver si son congruentes con el resultado final (CECP, 2002).

Un sistema de monitoreo es un proceso continuo y sistemático que mide el progreso y los resultados de la ejecución de un conjunto de actividades (proceso)  en un período de tiempo, con base en indicadores previamente determinados. El seguimiento se refiere a un conjunto de acciones que permiten comprobar en qué medida se cumplen las metas propuestas en el sentido de eficiencia y eficacia.  El monitoreo garantiza que se logre el resultado. El seguimiento registra si ese logro del resultado, unido a los logros de otros procesos, se ha hecho eficiente y eficaz. En el monitoreo se buscan las razones de las fallas comprobadas, con el objetivo de encontrar alternativas de solución. El monitoreo reporta logros para que las prácticas exitosas puedan ser replicadas y las erróneas revisadas (Rodríguez, 1999).

El monitoreo incluye la medición. Esta es la calificación o la cuantificación de las variables que permite clasificarlas según los diferentes hechos estudiados (Abdala, 2004).

El monitoreo es un componente del Sistema de Evaluación, Monitoreo, Seguimiento y Evaluación, el cual en su esencia constituye una herramienta práctica para la recolección de datos en diferentes momentos dados del desarrollo de un proceso.

La función del monitoreo es medir el ‘estado’ de la cuestión (enfoque de eficiencia) de cara a los objetivos y los resultados esperados formulados y con base en el sistema de indicadores construido en una etapa previa. Es un proceso sistemático que se ejecuta con la aplicación de instrumentos específicos cuyos contenidos corresponden a los indicadores ya mencionados. El monitoreo se orienta al control sobre la ejecución de responsabilidades asignadas y a la facilitación del ‘seguimiento’, de las responsabilidades compartidas. Por ende debe ofrecer los datos necesarios para una evaluación, (auto) crítica y participativa (UNAN, 2007).

Se entiende por seguimiento a la observación, registro y sistematización de los resultados del monitoreo en términos de los recursos utilizados, las metas intermedias cumplidas, así como los tiempos y presupuestos previstos, las tácticas y la estrategia, para determinar cómo está avanzando el proyecto en su conjunto y qué ajustes se deben realizar (Quintero, 1995).

Según el Banco Mundial: Se entiende por seguimiento a la evaluación continua de la ejecución completa de los proyectos en relación con el programa acordado (durante), y su relación con la utilización de insumos, infraestructura y servicios. El seguimiento proporciona información constante a los administradores y otros interesados, retroalimentando la ejecución del proyecto como tal. Permite identificar dificultades potenciales y adelantarse a las posibles complicaciones en tiempo y falta de recursos (Thumm, 1998).

Daniel Urzúa (2004, 19-…) plantea: El seguimiento es una acción permanente a lo largo del proceso de los proyectos, permite una revisión periódica del trabajo en su conjunto, tanto en su eficiencia en el manejo de recursos humanos y materiales, como de su eficacia en el cumplimiento de los objetivos propuestos. Es de vital importancia que el seguimiento se realice como una parte integrante del proyecto, acordada con los responsables de la gestión, para que no suceda como una mera supervisión. Recordemos que la función del seguimiento consiste en aportar aprendizaje institucional y no en emitir dictámenes sobre resultados de un proceso (Urzúa, 2004).

Según este autor los propósitos del seguimiento son:

1) Fomentar la cultura de la evaluación, la gestión del desempeño y la rendición de cuentas en función de los resultados esperados.

2) Alinear la evaluación con el ciclo de los proyectos, como un elemento sustantivo de la planificación estratégica.

3) Alentar el aprendizaje institucional de todos los actores involucrados en el proyecto con base en las evaluaciones efectivas y de calidad.

4) Promover el uso de la evidencia proporcionada por el seguimiento.

5) Elegir los resultados pertinentes y demostrar cómo y por qué producen los resultados previstos o cómo mejoran lo esperado.

 El mismo autor indica 6 claves del seguimiento. Afirma que es indispensable realizar un seguimiento efectivo que sirva de base a una evaluación de calidad, por esto es necesario (Urzúa, 2004):

1) Integrar un DIAGNÓSTICO o LÍNEA DE BASE que sirva para identificar las expectativas, hipótesis, supuestos y resultados esperados. La línea de base es el punto de referencia contra el cual evaluaremos las informaciones obtenidas.

2) Establecer los indicadores de cada caso, ya sea cobertura, eficacia, eficiencia, efectividad o proceso. Los resultados esperados son el germen de los indicadores, en estos se describe un punto de referencia que será reflejado en una medida estadística para cada caso. Es importante que en la definición de los indicadores participen los encargados de la gestión del proyecto y los aliados estratégicos involucrados formalmente.

3) Programar el seguimiento conforme a plazos pertinentes y convenientes acordados con los encargados de la gestión de cada proyecto.

4) Compartir en equipo el análisis de la información resultante, con la participación de los encargados de la gestión y los aliados estratégicos.

5) Destinar recursos específicos a las actividades programadas para el seguimiento.

6) Definir los plazos y los medios para la difusión de la información, así como las audiencias principales que deberán conocerla.

El autor Chassagnes (s.f., 15) plantea respecto al seguimiento: Los resultados del seguimiento contribuyen a consolidar la información necesaria para la toma de decisiones durante la etapa de ejecución, permitiendo el manejo de datos concretos y sistematizados al momento de abordar una evaluación. Este proceso ha de ser ágil, orientado y concertado; debe combinar elementos cuantitativos y cualitativos (Chassagnes, s.f.).

El seguimiento es otro componente integrante de un Sistema de Evaluación, Monitoreo, Seguimiento y Evaluación, el cual se basa en los datos obtenidos a través del monitoreo. Mientras que el monitoreo mide ‘estados’, el seguimiento, que es un proceso –o sea, consta de sus propias etapas-, permite identificar tendencias con base en la reflexión conjunta (participativa) y comparativa (línea base) de cara a los niveles de cumplimiento de objetivos y resultados esperados que se van alcanzando. La identificación de estas tendencias, con sus consecuencias, llevará a continuar el camino iniciado, a remediar, o a rectificar totalmente el rumbo. El enfoque principal del seguimiento es la eficacia del trabajo que se está desarrollando. Igual como en el caso del monitoreo, el seguimiento se orienta al control sobre la ejecución de responsabilidades asignadas y a la facilitación de la evaluación a través de este acompañamiento en el cumplimiento de responsabilidades compartidas. El seguimiento no sólo apunta a la evaluación, sino es parte integrante de todo proceso evaluativo con enfoque de calidad, en el sentido de la realimentación inmediata (UNAN, 2007).

Como interpretar el concepto de “evaluación”

Según las propuestas metodológicas para la evaluación de impacto del CICAP, la evaluación implica las premisas siguientes (UNAN, 2007): 

a) Se realiza con menor frecuencia en períodos generalmente anuales o al finalizar etapas.

b) Afecta las decisiones en plazos mayores, por lo general es insumo para la elaboración de la planificación anual y de futuros proyectos.

c) Mide el grado en que se modifica la situación deseado por el cumplimiento de los objetivos y metas en plazos a períodos establecidos.

d) Refleja el estado o situación en que se encuentra el proyecto y su impacto.

e) La información que brinda contribuye al mismo tiempo en el ámbito interno y externo, principalmente entes financieros externos, donantes, contrapartes y población participante.

f) Es una función importante para reflexionar sobre la planificación.

g) Afecta la planificación futura de recursos, incluso puede determinar el plazo del proyecto, cuando se propone ampliar o cerrar un proyecto.

h) Se manifiesta en documentos (informes) menos frecuentes, pero más extensos.

i) Su nivel de acción es la eficacia y los impactos.

j) El objeto de la evaluación son los efectos y los impactos.

k) Corresponde a planificación de largo plazo, planes estratégicos.

l) Se basa en indicadores de impacto, efecto, resultados.

m) En la evaluación se analiza la visión, misión, objetivos, estrategias y otros aspectos esenciales.

El autor Quintero (1995, 76), al referirse a la ‘Evaluación’ expresa: La Evaluación es un proceso de análisis crítico de todas las actividades y resultados de un proyecto, con el objeto de determinar la pertinencia de los métodos utilizados y la validez de los objetivos, la eficiencia en el uso de los recursos y el impacto en los beneficiarios (Quintero, 1995). La evaluación utiliza la información obtenida y producida por el Sistema de Seguimiento y Evaluación y al comparar los resultados con los objetivos, identifica los aspectos que han dificultado o favorecido el desempeño del proyecto, con el propósito de sacar enseñanzas para un futuro proyecto o para plantear estratégicas de cambio en una siguiente fase. La evaluación es un proceso general de aprendizaje cuyos fines son, básicamente (1) mejorar las condiciones presentes del proyecto, (2) sacar a flote las posibles insuficiencias o errores del proyecto para contrarrestarlos y prevenirlos en el futuro, y (3) destacar lo útil, eficiente y aceptable para actualizarlo teniendo en cuenta las circunstancias que ayudaron a su éxito y las nuevas que se prevean (Quintero, 1995).

Budinich (1998, 8) establece diferencias entre evaluación, auditoría e investigación, con base en una referencia del manual del PNUD para la Administración de Proyectos: “Lo mismo que la evaluación, una auditoría supone la valoración de la eficiencia y eficacia y la formulación de recomendaciones para promover mejoras. No obstante, en la valoración de estos elementos, la auditoria se distingue de la evaluación por su orientación u objetivo. Normalmente, una auditoria se concentra principalmente en la observancia de las normas y reglamentos vigentes, en vez de tratar de comprobar la pertinencia y determinar los probables efectos o sostenibilidad de los resultados”. Una auditoría por lo tanto no necesita ni analizar, ni documentar el aprendizaje del proyecto (Budinich, 1998). Una investigación no tiene la intención de proponer cambios en el proyecto

Urzúa (2004, 14), en el contexto de un Manual del sistema de seguimiento y evaluación de la política pública de juventud (SSE), plantea: Entendida como evaluación de resultados, es un proceso organizado de aprendizaje que resulta de cotejar lo realizado con lo planificado. … La evaluación consiste en la determinación de una valoración acerca de la marcha de la eficiencia y la eficacia, o sea de los mismos aspectos que observa el seguimiento, sólo que al momento de evaluar se ubica el acento con respecto a lo esperado (Urzúa, 2004).

El Cubano Chassagnes (s.f., 17) responde la pregunta ‘¿Qué es la Evaluación?’ así: A diferencia del seguimiento, la evaluación es un proceso más completo y profundo de análisis de la acción. Allí, luego de un lapso de tiempo previamente establecido, realizamos un análisis crítico de todas las actividades y resultados del proyecto. En este momento es de indudable importancia la información que hemos ido recogiendo en el seguimiento. … La evaluación es el momento preciso de reajustar y programar las próximas etapas del proyecto o bien el momento de darlo por terminado. En este último caso se la denomina Evaluación Final (Chassagnes, s.f.).

Rodríguez (1999, 10-11) expone: Como mecanismo institucional la evaluación es el proceso integral y continuo de investigación y análisis de los cambios más o menos permanentes que se materializan en el mediano y largo plazo, como una consecuencia directa o indirecta del quehacer institucional o del proyecto en el contexto, la población y las organizaciones participantes. La evaluación es de carácter integral y transformador. La evaluación compara los avances del proceso con los objetivos, identifica los aspectos que han dificultado o favorecido el desempeño y avance, con el propósito de generar aprendizajes. La evaluación facilita el análisis crítico de los efectos e impactos del plan, programa o proyecto, con el propósito de determinar la pertinencia de los métodos utilizados, la validez de los objetivos, la eficiencia en el uso de los recursos y el impacto en relación con los grupos participantes. Uno de los aspectos fundamentales de cara a la calidad en los procesos de evaluación constituye sin duda la participación (Rodríguez, 1999).

En conclusión, la diferencia que existe entre las palabras monitoreo, evaluación y seguimiento es el orden de su aplicación. El monitoreo es frecuente (durante); el seguimiento es permanente pero se da post resultados (técnicos, financieros y  humanos). Por lo tanto primero se hace monitoreo y luego se hace el seguimiento.

La evaluación es periódica pero sólo ocurre después de las experiencias del seguimiento por lo tanto no abordará el mediato plazo pero sí el corto plazo (anual), el mediano plazo (bianual, trianual y quinquenal) y el largo plazo.

La base del monitoreo es la supervisión. La base del seguimiento es la sistematización y correlación de los resultados del monitoreo. La base de la evaluación es el análisis crítico participativo de los aprendizajes del seguimiento. La referencia del monitoreo es la promesa de los resultados ofrecidos. La referencia del seguimiento es el sistema de indicadores que se construye a partir del monitoreo. La referencia de la evaluación es la línea base y los indicadores del monitoreo más reciente. Las decisiones que resultan del monitoreo son operativas. Las decisiones que resultan del seguimiento son tácticas. Las decisiones que resultan de la evaluación son estratégicas. Lo que hace el monitoreo es medir resultados. Lo que hace el seguimiento es describir efectos. Lo que hace la evaluación es valorar impactos. La importancia del monitoreo es que captura datos. La importancia del seguimiento es que relaciona e interpreta datos. La importancia de la evaluación es que plantea escenarios futuros.

El uso del monitoreo es interno. El uso del seguimiento es interno. El uso de la evaluación es externo. Los enfoques del monitoreo son de control. Los enfoques del seguimiento son de re-alimentación. Los enfoques de la evaluación son de aprendizaje constructivo.

¿Quiénes hacen el monitoreo? los supervisores en el nivel operativo. ¿Quiénes hacen el seguimiento? los analistas en el nivel ejecutivo. ¿Quiénes hacen la evaluación? El mayor número de actores involucrados por el lado del proyecto y por el lado de los destinatarios del proyecto.

La evaluación permite visualizar las transformaciones del proyecto antes de la puesta en marcha en una nueva fase, desde ese punto de vista puede llamarse evaluación exante. La evaluación durante es el seguimiento y la evaluación expost  existirá sólo cuando el proyecto ya no tenga continuación y la evaluación realizada será la última acción del proyecto.

Descargar artículo completo: Monitoreo, seguimiento y evaluacion

 

Trabajos citados


Abdala, E. (2004). Manual para la evaluación de impactos en programas de formación para jóvenes. Montevideo: CINTERFOR.

Budinich, V. (1998). Lineamientos para incorporar la perspectiva de género en Sistemas de Seguimiento y Evaluación. Castries, Santa Lucía: FIDA-CDB.

CECP. (2002). Monitoreo. Nicaragua: Centro de Educación y Comunicación Popular.

Chassagnes, I. (s.f.). Fundamentos de Gerencia Contemporánea. La Habana: Instituto Superior Politécnico.

ICCO. (2000). Pautas para una buena planificación, monitoreo y evaluación. Holanda: Organización inter-eclesiástica para la Cooperación al Desarrollo.

Quintero, U. (1995). Evaluación de Proyectos. Construcción de indicadores. Colombia: Fundación FES.

Rodríguez, G. e. (1999). Sistemas de monitoreo y evaluación sensibles a género. San José de Costa Rica: ABSOLUTO.

Thumm, R. W. (1998). Diseño de sistemas de seguimiento y evaluación de los proyectos. Washington: Departamento de Evaluación de Operaciones -OED. B.M.

UNAN. (2007). Curso E-DC-5.2 Monitoreo, Seguimiento y Evaluación de Proyectos. Managua: CICAP.

Urzúa, D. (2004). Manual del sistema de seguimiento y evaluación de la política pública. Managua: Comisión Nacional de Juventud.