Decisiones basadas en evidencia 11.11.20

Decisiones basadas
en evidencia

Brenda Lía Chávez Cosamalón, MSc
[email protected]

OBJETIVOSOutoUTLINE

Introducir conceptos básicos sobre
la ciencia de la intervención, el
monitoreo y la evaluación

Brindar recursos para la búsqueda,
análisis crítico y uso adecuado de

evidencias

Describir las principales herramientas
para el diseño y monitoreo de
intervenciones sociales



La ciencia de la
intervención social

Una intervención es una estrategia
de cambio intencional

Habilidad de Contenido
un agente de de la

cambio intervención

Respuesta de
participantes

Problema o Proceso Respuesta
circunstancia adaptativo del ambiente

Adaptado de: Fraser, Galinsky, Richman y Day (2009)

Una intervención basada en evidencias
es aquella que hace uso de métodos
científicos, para demostrar la
efectividad de la intervención en
producir un resultado
El nuevo trabajo social: Identificar,
adaptar e implementar aquello que
entendemos como la mejor estrategia
disponible para lograr el cambio.

Fraser, Galinsky, Richman y Day (2009)

evidencia.
(Del lat. evidentĭa).
1. f. Certeza clara y manifiesta de la que no
se puede dudar.

Evidencia entregada
por la experiencia

Evidencia descriptiva

Evidencia causal

“Jerarquía de
la evidencia”
de efectividad

OPINIÓN DE EXPERTOS

REPORTES DE CASOS
OPINIÓN DE EXPERTOS

ENCUESTAS
TRANSVERSALES

REPORTES DE CASOS

OPINIÓN DE EXPERTOS

T0 T1 T2 T3 T4

Expuesto ESTUDIOS
DE COHORTES
No
expuesto ENCUESTAS
TRANSVERSALES

REPORTES DE CASOS

OPINIÓN DE EXPERTOS

ECA
(RCT)

ESTUDIOS
DE COHORTES

ENCUESTAS
TRANSVERSALES

REPORTES DE CASOS

OPINIÓN DE EXPERTOS

REVISIÓN SISTEMÁTICA Y METAANÁLISIS

Revisión sistemática: Un ECA
proceso planificado, (RCT)
auditable, transparente y
replicable para buscar, ESTUDIOS
recuperar, evaluar y sintetizar DE COHORTES
un cuerpo de evidencia que
aborde un tema en particular. ENCUESTAS
Metaanálisis: técnica TRANSVERSALES
estadística para combinar los
resultados de estudios REPORTES DE CASOS
independientes y desarrollar
estimaciones más precisas del OPINIÓN DE EXPERTOS
efecto de una intervención.

¿Cuándo usamos evidencia?

Planteamiento del problema

✓ Análisis de necesidades
✓ Teoría sobre el problema

Comprobación de la Revisión de
efectividad Experiencias previas

✓ Efectividad de la ✓ Efectividad de
intervención intervenciones

✓ Percepciones y ✓ Recomendaciones de
experiencias implementación

Monitoreo de la Formulación de

implementación estrategias

✓ Indicadores de desempeño ✓ Teoría de cambio
✓ Rescatar todas las voces ✓ Marco lógico

Herramientas para el
uso crítico de
evidencias

Revisión Revisión
sistemática narrativa

Pregunta delimitada (PICO) Tema general

Criterios de búsqueda Criterios de búsqueda no
explícitos explícitos

Criterios de selección explícitos Criterios de selección no
explícitos
Análisis crítico con criterios
estandarizados Análisis crítico según autor/a

Síntesis cualitativa y/o Síntesis cualitativa
cuantitativa

Adaptado de: Molina Arias, M.. (2013). La revisión sistemática. Pediatría Atención Primaria, 15(59), 283-285.

Revisión sistemática

Fuente: Villasís-Keever, M. Á., Rendón-Macías, M. E., García, H., Miranda-Novales, M. G., & Escamilla-Núñez, A. (2020). La revisión
sistemática y el metaanálisis como herramientas de apoyo para la clínica y la investigación. Revista Alergia México, 67(1), 62-72.







“Qué funciona y qué
no en…”

https://www.coneval.org.mx/Inf
ormesPublicaciones/InformesP
ublicaciones/Paginas/Publicaci
ones-sobre-Evaluacion-y-
monitoreo.aspx

SUMMA – Plataforma de Prácticas
Educativas Efectivas

https://www.summaedu.org/plataforma-de-practicas-
educativas-efectivas/

Scielo – Buscador de artículos académicos ALyC

https://scielo.org/es

https://www.povertyactionlab.org/es/node/39
https://www.povertyactionlab.org/es/evaluaciones
https://www.povertyactionlab.org/es/lecciones-de-la-evidencia
http://www.poverty-action.org/publications
http://www.poverty-action.org/search-studies#

https://scholar.google.com/

Otros recursos (en inglés)

• dhLIteLtpAAsCm:S/é/–rliilcIanacfsLo.arbmtvinsaaacliyuódne.loeCnragSr/ieabsleu/d
• CInatmerpvebnecllioCnoellsabsoocraiatlieosn –

• bhtettptes:r/-/ecvaidmepnbceel.lhctomllal boration.org/

• WInhteartvWenocrikosnCelseeadriuncgahtoivuasse –

• https://ies.ed.gov/ncee/wwc/

• 3eviEid–eBnucisacador y mapas de

• hmtptpasc:t/./odregv/elopmentevidence.3iei

El análisis crítico de evidencias
consiste en decidir si haremos uso o no
de los hallazgos de un estudio para
informar la toma de decisiones con
respecto a nuestra intervención
Criterios para el análisis crítico:
• Validez de los resultados
• Claridad y precisión de los resultados
• Aplicabilidad en el medio deseado

Teoría de cambio y
Marco lógico

Las intervenciones sociales se basan en
teorías implícitas o explícitas

“No hay nada más práctico que una buena teoría” – Kurt Lewin

La Teoría de cambio (TdC) es la
explicación del cómo y por qué se
generará el cambio en la dirección

deseada (Weiss 1995)

No confundir con teoría del problema
(Fraser 2009)
• La explicación del problema,

conducta o fenómeno y qué factores
influyen sobre ello
• Útil para definir actores involucrados
y nivel de intervención (individual,
comunitario, focalizado, universal)

¿Para qué nos sirve la TdC?

Evita la Facilita la Facilita la Permite
aproximación formulación identificación escalar la
de “caja de hipótesis intervención,
negra” sobre grupos de los respetando la
en los que “ingredientes teoría causal
• Al evaluar, es principales” subyacente
posible identificar podrían
qué componentes encontrarse (Bickman, 1987)
funcionaron o no y mejores o
las consecuencias
sobre los peores
resultados resultados
(Petrosino 2000)

La representación visual de una TdC
debe explicitar estos elementos:
• Resultado final deseado
• Condiciones previas necesarias

(resultados iniciales/intermedios)
• Relaciones causales entre resultados
• Mecanismos de intervención

Fuente: Dhillon, L., & Vaca, S. (2018). Refining theories of change. Evaluation, 14(30).

Fuente: https://assets.publishing.service.gov.uk/media/57a08a66ed915d622c000703/Appendix_3_ToC_Examples.pdf

Fuente: https://path.azureedge.net/media/documents/PATH_IDEA_Precis_Spanish_R1.pdf

Fuente: https://www.seraj.org.mx/teoria-de-cambio

Fuente: https://irenetaylortrust.com/changing-lives/theory-of-change/

6 Ten en cuenta la Revisa las relaciones Precisión en la
evidencia causales representación
consejos
para Tu TdC debe soportarse Las relaciones de causa- Visualización ni muy
fundamentalmente en el efecto en tu TdC deben detallada ni demasiado
mejorar simplificada, procura
una análisis crítico de ser explícitas, no elementos acordes al
estudios empíricos, no implícitas o vagas. nivel de complejidad.
Teoría intuiciones u opiniones.
de
Precedencia Relevancia visual Nivel de
Cambio participación
(TdC) La TdC debe en su La expresión gráfica de
mayoría haber sido tu TdC debe comunicar Procura contar con
comprobada, no basarse la distinta relevancia y retroalimentación por
en una lógica que nunca relaciones; usa distintos parte de expertos(as) e
haya demostrado los
resultados esperados. colores, tamaños, involucrados(as).
flechas, etc.

Diagrama adaptado de: https://www.annmurraybrown.com/single-post/6-tips-to-develop-better-theories-of-
change. Contenido original: Dhillon, L., & Vaca, S. (2018). Refining theories of change. Evaluation, 14(30).

Marco lógico

La metodología de Marco Lógico es una
herramienta para facilitar el proceso de
conceptualización, diseño, ejecución y
evaluación de proyectos. Su énfasis está
centrado en la orientación por objetivos, la
orientación hacia grupos beneficiarios y el
facilitar la participación y la comunicación
entre las partes interesadas. (Ortegón,

Pacheco y Prieto 2005)

Teoría de Marco lógico
cambio
Ilustra el proceso de cambio
Resume el trabajo o la a nivel de la
iniciativa de cambio a un
implementación
nivel estratégico Lente microscópico, se
Lente macroscópico, acerca a una ruta específica,
brinda el panorama general coherente con la TdC

de la intervención Matriz ordenada

Visualmente creativa

Fundamental la
participación de actores
en los pasos 1, 2, 3 y 4

ÁRBOL DE PROBLEMAS

EFECTOS

PROBLEMA
CENTRAL

CAUSAS

ÁRBOL DE PROBLEMAS JERARQUÍA DE OBJETIVOS

EFECTOS

PROBLEMA
CENTRAL

CAUSAS



NADEL - Gestión basada en los Resultados de Desarrollo

Monitoreo, evaluación y
aprendizaje

Monitoreo es un proceso de recolección continua y
sistemática de datos para generar indicadores que
permitan medir el grado de avance sobre las metas
de procesos y productos de las intervenciones, con
el fin de orientar la toma de decisiones de gestión

en el corto plazo.
Evaluación es la aplicación de diversas técnicas de

análisis cualitativo y/o cuantitativo que busca
determinar el impacto, la eficacia, eficiencia y/o

sostenibilidad de las intervenciones y/o
determinar los aciertos y desaciertos en el diseño e

implementación de las mismas.

El monitoreo se enfoca
tradicionalmente en el

cumplimiento de
procesos. En el enfoque
de desarrollo sostenible,
es fundamental recoger

también las
percepciones.

Foto: UNOPS/ Archivo institucional, 2013 y 2014.

Conociendo las percepciones de los usuarios

¿Usa la cocina a gas que recibió ¿Continúa usando su cocina
del Programa? tradicional?

7% 53% 8%
20% 92%

20%

Sí, todos los días Sí No
Sí, algunos días
Antes la usaba/dejó de usarla
No, nunca la usé

N=409