Evaluación Educativa Pag.- 401 Universidad Pedagógica Nacional-Hidalgo ESTOS MATERIALES SON EXCLUSIVAMENTE PARA USO DIDÁCTICO. NO TIENE FINES DE LUCRO Con lo anterior debe quedar claro que la evaluación participativa no puede distinguirse del diagnóstico de necesidades o la concientización de la comunidad. También se diluye la distinción entre, evaluación e instrucción. La evaluación participativa proporciona a los participantes mayores oportunidades de elevar su nivel de conciencia y consolidar su sentido de poder y auto-valoración. Como se señalo anteriormente, el Consejo Internacional para la Educación de Adultos ha trabajado mucho en la evaluación participativa y ha establecido una red de evaluación participativa a escala mundial. Sin embargo, no parece que haya habido desviaciones significativas de tipo metodológico. Los métodos han mantenido más o menos el espíritu de la listas de pasos propuestos por Paulo Freire y presentados aquí. 14. El modelo de evaluación (3-S)13 como estrategia para la situación específica Antes de presentar nuestro modelo de evaluación 3-S, recordemos a los lectores que es inútil buscar el modelo de evaluación o una forma correcta de evaluar la alfabetización, la capacitación o el desarrollo. Como nos ha advertido Cronbach, un modelo puede ajustarse al “contexto del control” y al otro al “contexto de la acomodación”. Un agente alfabetizador puede estar usando más de uno de los modelos presentados aquí, en el contexto de un solo estudio evaluativo. Otro punto importante que debe recordarse es que los modelos no se utilizan corno fórmulas. Los modelos son para pensar. Raras veces le darán un conjunto de procedimientos cuyos pasos no puedan cambiarse. Si así lo hacen probablemente conducirán a cometer errores. El modelo 3-S, el cual analizaremos a continuación, es un conjunto vacio que nos permite seleccionar el modelo apropiado o la combinación adecuada de modelos y enfoques que se vaya a usar en un programa o estudio evaluativo. La esencia de su concepción es la siguiente: no comience con un modelo de evaluación, sino con un problema. Analice el problema e identifique sub-problemas, piense acerca de cómo el problema o sus partes pueden desenvolverse con el transcurso del tiempo; y, finalmente, piense en el medio en el cual se desarrollará la evaluación. Las diferentes partes del problema de evaluación probablemente requerirán la utilización de distintos modelos y enfoques. Podrá ser necesarios hacer una encuesta y un estudio de caso en profundidad. Podrán requerirse pruebas de rendimiento de los educandos y análisis de contenido de documentos. Las exigencias de tiempo pueden demandar tomar el pulso al programa mediante apreciaciones rápidas aún cuando idilmente, hubiese sido mejor hacer una evaluación más sistemica. Finallmente, el evaluador puede encontrarse en una situación en la cual no tenga claculadoras ni colegas que puedan ayudarle con el análisis de grandes cantidades de datos númericos, donde no haya fotocopiadoras o mimeógrafos, o no se tenga papel para duplicar los intrumentos necesarios. Este modelo nos ayuda a pensar sobre las estrategias que habrá que seleccionar en situaciones especiales de la vida real sobre cómo hacer una “segunda mejor selección” cuando la mejor no es posible. En otra publicación14 hemos enunciado los siguientes pasos en la puesta en práctica del modelo 3-S: 1. Articular las relaciones de fines y medios en el programa de cambio que se va a evaluar. 2. Generar perfiles de necesidades de información y asuntos relacionados con la evaluación.
Evaluación Educativa Pag.- 402 Universidad Pedagógica Nacional-Hidalgo ESTOS MATERIALES SON EXCLUSIVAMENTE PARA USO DIDÁCTICO. NO TIENE FINES DE LUCRO 3. Desarrollar una agenda de evaluación específica para la situación. 4. Elegir metodologías y técnicas realistas apropiadas. El modelo 3-S ha influido en los enfoques de la planificación y la gestión de la evaluación que se presentan en este libro. Cosas para hacer o para pensar 1. ¿Cuál de los dos paradigmas básicos analizados en este capítulo tiene más posibilidad de generar la información más útil en su programa de desarrollo, de alfabetización o de capacitación para el desarrollo? ¿O tendrá usted que usar uuna mezcla de ambos? 2. ¿Cuál o cuáles de los modelos descritos en este capítulo considera usted personalmente que le podría ser más útil actualmente? ¿Qué más le gustaría saber sobre este modelo para poder utilizarlo? 3. ¿Ha podido usted encontrar algún estudio evaluativo terminado que se ajuste del todo a alguno de los modelos descritos en este capítulo? Notas de la lectura Kuhn, T. S. The structure of scientific revolutions Chicago: University of Chicago Press, 1962. En nuestra discusión en este capítulo el término “teoría” no ha sido definido ni explicado. Esto es así porque la literatura sobre evaluación habla con frecuencia de modelos de evaluación y pocas veces de teoría de la evauación. Brevemente digamos que, en términos del status conceptual, la teoría cae entre el paradigma y el modelo. En su mejor sentido, la teoría en un conjunto de leyes y generalizaciones empíricas conectadas deductivamente. Un modelo es frecuentemente un diagrama esquemático que conecta la teoría con la práctica. 3 Aquí puede hacerse referencia al trabajo de Donald T. Campbell y Julian C. Stanley, Experimental and quasi-experimental designs for researchers. Chicago: Rand McNally, 1966. 4 Lincoln, Yvonna S y Guba, Egon G. Naturalistic inquiry. Beverly Hills, CA; Sage, 1985. 5 Cronbach, Lee J. et al Towards reform of Jossey-Bass. 1980.
Evaluación Educativa Pag.- 403 Universidad Pedagógica Nacional-Hidalgo ESTOS MATERIALES SON EXCLUSIVAMENTE PARA USO DIDÁCTICO. NO TIENE FINES DE LUCRO H. S. Bhola. “Técnicas e instrumentos de evaluación”. En: La evaluación de proyectos y campañas de alfabetización para el desarrollo. Instituto de la UNESCO para la educación. Antología UPN “Evaluación y seguimiento en la escuela LE’ 94” pp. 134-139 Ed. Santiago de Chile (1992 pp. 186-198) TEMA 2. Técnicas e instrumentos de evaluación LECTURA: EL PROCESO EN UNA MIRADA: HERRAMIENTAS Y TECNICAS DE LA EVALUACION RACIONALISTA∗ PRESENTACION Es comprensible que las herramientas y técnicas de la evaluación racionalista (ER) sean sumamente racionalizadas. Los instrumentos de la ER son típicamente pre-estructurados y se someten a prueba previamente. Se desarrollan códigos detallaodos para las preguntas abiertas que se incluyan en los instrumentos. A los investigadores de campo se les advierte que sean impersonales con el fin de lograr objetividad. De antemano se establecen acuerdos sobre los métodos estadísticos y niveles de confianza que tendrán las inferencias que se hagan. EL PROCESO DE UNA MIRADA: HERRAMIENTAS Y TÉCNICAS DE LA EVALUACIÓN RACIONALISTA Primero, será útil recordar en esta etapa que el proceso de planificación de la evaluación descrito antes, en el Capítulo 3 de la Parte II, se aplica para los tres enfoques analizados de generación de información: el SIG, la EN y la ER. Segundo, hay claros paralelos entre el diseño de un Sistema de Información para la Gestión y el de la ER. Los pasos peculiares en la progresión de la evaluación a la manera racionalista se rnuestra gráficamente en la Figura 8, que aparece en la página siguiente. En este capítulo discutiremos cuestiones importantes acerca del diseño de instrumentos: la administración de estos en el campo; el cotejo (acumulación) de los datos recolectados, el procesamiento y presentación de los datos; y finalmente, el análisis de los mismos para someter a prueba las hipótesis o responder a las preguntas de la evaluación. ∗ H.S. Bhola, “Herramientas y Técnicas de la Evaluación Racionalista”, en: La evaluación de proyectos, programas y campañas de alfabetización para el desarrollo. Instituto de la UNESCO. Editado en Santiago de chile, 1992. Pp. 232-242.
Evaluación Educativa Pag.- 404 Universidad Pedagógica Nacional-Hidalgo ESTOS MATERIALES SON EXCLUSIVAMENTE PARA USO DIDÁCTICO. NO TIENE FINES DE LUCRO SECCION A: Herramientas e instrumentos Cualquiera que sea la naturaleza del enfoque para la recolección de nformación con propósitos evaluativos, implica algunos tipos de recolección de datos. Habrá que ver, observar, preguntar, entrevistar, provocar reacciones y someter a prueba. Desde luego, hay diferencias esenciales en la forma como se recopila la información en la EN en comparación con la ER. Los instrumentos utilizados en la EN son inestructurados o muy poco estructurados. Hay muchas preguntas abiertas y los datos son cualitativos. Los instrumentos estrcuturados se ocnsideran un mérito de la ER. Los datos son nominales u ordinales. Aún cuando se recogen “datos cualitativos”, estos se “cuantifican” para procesarlos como datos numéricos o nominales. Puede deducirse fácilmente que como el SIG tipicamente guarda datos numéricos, tiene más afinidad superficial con la ER que con la EN. Los cuestionarios estructurados Como el nombre lo sugiere, estos son “estructurados” en cuanto a las preguntas que se formulan, las palabras exactas que deben usarse al presentarlas, la secuencia en que se preguntan y el formato en el cual las respuestas deben obtenerse y registrarse (debe Seleccionar el Diseño, Muestreo, Método y Métodos Estadísticos para el Análisis de los Datos Recoger Datos de Fuentes Preseleecionadas de Acuerdo con el Plan Resultados, Comparaciones, Correlaciones, Hipótesis Probadas, Nuevas Preguntas, Nuevas Hipótesis, Teoría Mejorada. Figura 8. El Proceso de Evaluación Revisar la Literatura Re-establecer las Preguntas y Sub-preguntas o hipótesis Definir términos Clave y A li C Cl Escribir Indicadores Escribir ítemes para Recoger Datos por medio de Preguntas, Provocación, Pruebas y Observación Organizar los Itemes en instrumentos apropiados: Pruebas, Cuestionarios, Entrevistas y Guías de Observación
Evaluación Educativa Pag.- 405 Universidad Pedagógica Nacional-Hidalgo ESTOS MATERIALES SON EXCLUSIVAMENTE PARA USO DIDÁCTICO. NO TIENE FINES DE LUCRO anotarse que los cuestionarios no son un simple conjunto de “cuestiones” con un signo de interrogación al final. Los cuestionarios incluyen escalas, itemes de elección múltiple y otros dispositivos para obtener y registrar las respuestas). Los cuestionarios estructurados se distribuyen con frecuencia por correo. En casos especiales pueden hacerse a mano y, de hecho, pueden ser llenados también por el investigador de campo. Este será el caso cuando se usa, por ejemplo, un cuestionario con un grupo seleccionado de adultos analfabetos. En este caso, un cuestionario estructurado se convierte en una entrevista estructurada. Los cuetionarios deben ser cortos y estar bien diseñados. Puesto que los informantes los llenarán independientemente, deben incluir instrucciones claras y fáciles de entender. Una corta introducción debe presentar el propósito del cuestionario y explicar como los datos que suministra el informante lo ayudara a el y a su comunidad en gneral. Debe asegurarse y garantizarse el anonimato del informante. Los cuestionarios y las entrevistas son también en un sentido pruebas de conocimiento. La diferencia es que estas son pruebas del “conocimiento particular” que puede tener un individuo y lo quiera aportar. No es el conocimiento general de una materia sino conocimientos privados de una persona, información de la cual dispone la persona, sus percepciones, actitudes y opiniones de distinto tipo (como se ha indicado en otra parte, algunos itemes de las pruebas de rendimiento pueden a veces ocultarse en un cuestionario). Adaptaciones locales de buenos cuestionarios Generalmente los evaluadores tendrán que diseñar sus propios cuestionarios para que sean adecuados a los contextos sociales especiales y del programa en que se desarrolla el estudio evaluativo. Sin embargo, a veces pueden adaptarse cuestionarios sobre temas similares elaboradas por otros evaluadores en otros lugares. Muchos ítemes útiles pueden tomarse de otros cuestionarios con pocas modificaciones. La elaboración de buenos cuestionarios Los buenos cuestionarios se elaboran en la perspectiva de objetivos claros. Preguntan lo que el evaluador necesita saber y evitan las preguntas innecesarias, pero no se olvidan las preguntas importantes. Siempre se solicita información demográfica estándar como sexo, edad, ocupación, ingresos, etc., de modo que se posibilite la interpretación de la totalidad de respuestas recibidas. La elaboración de ítemes para los cuestionarios presenta un conjunto adicional de problemas, ya que (1) se pregunta sobre conocimientos privados que los informantes pueden no querer cornpartir (2) se busca sacar opiniones y actitudes que es posible que los informantes no esten preparados para compartir honestamente. Las actitudes respecto a la planificación familiar, matrimonios entre personas de diferentes tribus, alimentos considerados tabú, no se expresan fácilmente con honestidad. El informante puede proporcionar respuestas “socialmente aceptables”. Puede decir a los evaluadores lo que supone que refleja la actitud apropiada en lugar de lo que realmente cree con respecto a algún aspecto particular de su mundo social o cultural. Para esolver algunos de estos problemas, quienes elaboran los cuestionarios pueden intentar redactar itemes menos directos y preguntar los mismo de diferentes maneras en un mismo cuestionario.
Evaluación Educativa Pag.- 406 Universidad Pedagógica Nacional-Hidalgo ESTOS MATERIALES SON EXCLUSIVAMENTE PARA USO DIDÁCTICO. NO TIENE FINES DE LUCRO Insistimos nuevamente en probar los cuestionarios antes de administrarlos a gran escala corno parte del estudio evaluativo. La prueba previa señalará muchos problemas que puede tener el cuestionario. La siguiente lista muestra algunos ejemplos de errores que cometen los evaluadores principiantes al redactar itemes para cuestionarios. Muchos de esos problemas se captan en el proceso de pre-prueba del cuestionario. Con la práctica seguramente mejoraria la elaboración de itemes para cuestionarios. ITEMES A un funcionario del distrito le preguntan: ¿Después que se ha comunicado la información a los jefes/asistentes en su área, cómo se trabaja al respecto? Le preguntaron a un agente que trabaja a nivel local sobre nutrición: ¿A qué se dedica en las visitas al hogar? Se le pregunta a un sujeto. ¿Cree usted que gozaba de buena salud durante el período que duró el curso de capacitación? A un extensionista le preguntan en un curso de capacitación: ¿Fue útil su visita al agricultor? Se solicita al director de una escuela que juzgue el compromiso con el trabajo entre el estudiante y el maestro, en términos de: Insatisfactório por debajo del promedio promedio por encima del promedio sobresaliente Comentarios ¿Puede el funcionario del distrityo realmente responder? ¿No será mejor obtener esta información directamente de los jefes? ¿No estamos preguntando a informantes inadecuados? ¿No es está una pregunta demasiado general? ¿Entiende lo mismo por buena salud el sujeto y el evaluador? ¿Qué tal si el estudiante no estaba muy bien pero no tan enfermo como para perder clases por mucho tiempo? ¿No deberíamos preguntar en términos de los días que faltó debido a enfermedad? ¿Util para quién? ¿en qué forma? ¿Con base en qué clase de evidencia, usando qué criterios? ¿Cómo podemos garantizar que el evaluador y el director entiende lo mismo por compromiso con el trabajo? ¿Definimos el compromiso en términos de puntualidad o de
Evaluación Educativa Pag.- 407 Universidad Pedagógica Nacional-Hidalgo ESTOS MATERIALES SON EXCLUSIVAMENTE PARA USO DIDÁCTICO. NO TIENE FINES DE LUCRO tener una sobrecarga de trabajo, o de ofrecer tutoria a los estudiantes con dificultades? ¿cómo adquirirá el director el conocimiento sobre el cual basar estos juicios? El evaluador pregunta al extensionista local: ¿Son los materiales audio-visuales preparados localmente mejores que los preparados en otra parte? Se pregunta a un asistente de cooperativas a nivel comunitario: ¿Cuántos de sus primeros estudiantes todavía practican las habilidades de lectura? ¿Significa “en otra parte” en otra localidad? ¿En la Oficina Central a nivel nacional? ¿Preparados por una firma comercial? ¿”Mejor” significa producido en otra parte? ¿Mejor en valores de producción o en términos de pertinencia de la intrucción? ¿No diría la mayoría de ellos que “muchos”? ¿No es éste una pregunta cargada? Las entrevistas Los evaluadores usan las entrevistas tanto en la indagación racionalista como en la naturalista. En el contexto del paradigma racionalista, las entrevistas son estructuradas o semi-estructuradas. Por semi-estructuradas entendemos entrevistas básicamente estructuradas que contienen algunas preguntas de sondeo que buscan mayores explicaciones. Como indicamos antes, los cuestionarios estructurados se convierten en entrevistas estructuradas al ser aplicados en persona. Por lo tanto, la entrevista estructurada tiene los mismos problemas y suscita las mismas inquietudes respecto al diseño, la elaboración de ítemes y la presentación de los datos que el cuestionario estructurado. Pero, como las entrevistas se llevan a cabo en situaciones cara a cara., plantean otros problemas y desafios adicionales. El entrevistado debe estar motivado para acceder a la entrevista e invertir el tiempo requerido para completarla. El entrevistador debe se capaz de establecer confianza y empatía sin llegar a influir en las respustas del entrevistao. En las localidades rurales de los paises en desarrollo no siempre es posible apartar de sus ocupaciones al entrevistado (especialmente a las mujeres) para conversar un largo rato en privado. Por otra parte, el entrevistador debe asegurarse de que una entrevista individual con una joven madre no convierta en una entrevista familiar. A veces lo que queremos son entrevistas familiares. Pero entonces debemos preparar y realizar una entrevista familiar. El punto es que una entrevista individual no se confunda con una entrevista familiar o grupal. También es posible que dos entrevistadores realicen una entrevista. Un líder de una comunidad rural puede ser entrevistado sobre su trabajo por un panel completo de entrevistadores. Las escalas incluidas en los cuestionarios o las escalas independientes para registrar actitudes y opiniones Como hemos indicado anteriormente, los cuestionarios no sólo incluyen preguntas. En un cuestionario puede aparecer una variedad de itemes, incluyendo escalas. En su forma más sencilla una escala se presenta así:
Evaluación Educativa Pag.- 408 Universidad Pedagógica Nacional-Hidalgo ESTOS MATERIALES SON EXCLUSIVAMENTE PARA USO DIDÁCTICO. NO TIENE FINES DE LUCRO SI INDECISO NO ESTOY DE ACUERDO NO ESTOY DE ACUERDO ESTOY EN DESACUERDO Una escala puede hacerse más sensible simplemente añadiendo más opciones ordinales, como en la siguiente: ESTOY COMPLETAMEN TE DE ACUERDO ESTOY DE ACUERDO NO ESTOY DE ACUERDO ESTOY EN DESACUERD O ESTOY COMPLETAMEN TE EN DESACUERDO A las opciones ordinarias intermedias de la escala no siempre hay que darles definiciones y de hecho, pueden dejarse en blanco. Fíjese en la siguiente escala que usa siete opciones ordinales sin rótulos con dos extremos polares opuestos: Estas escalas pueden convertirse en escalas multidimensionales utilizando muchas dimensiones bipolares, tales como las siguientes: creativo-no creativo difícil-fácil flexible-inflexible emocionante-aburrido fuerte-débil científico-artístico objetivo-subjetivo organizado-desorganizado relevante-irrelevante práctico-no práctico activo-pasivo exigente-no exigente envolvente-alienante modificable-inmodificable motivante-alienante Estas escalas pueden ser analizadas en conjunto para obtener una visión más precisa de la estructura referente a la actitud o de los valores de un individuo. A veces puede darse valores numéricos a estas escalas como en la siguiente: Esto permite la cuantificación de los datos recogidos utilizando rótulos cualitativos. Al ser aplicadas a un grupo, estas escalas pueden utilizarse para describir las estructuras de los grupos, al obtener los porcentajes de las respuestas. Creativo No creativo Organizado Desorganizado +3 +2 +1 +0 -1 -2 -3
Evaluación Educativa Pag.- 409 Universidad Pedagógica Nacional-Hidalgo ESTOS MATERIALES SON EXCLUSIVAMENTE PARA USO DIDÁCTICO. NO TIENE FINES DE LUCRO Por ejemplo: Observaciones de campo La observación de campo, repetimos, es una estrategia de recolección de datos que puede utilizarse al seguir cualquiera de los dos paradigmas, el racionalista y el naturalista. En el paradigma racionalista la observación de campo puede basarse en el muestreo aleatorio y puede ser altamente estructurada En la tradición naturalista, la observación de campo es inestructurada y propositiva. Pueden hacerse observaciones participantes o no participantes. Los evaluadores desean hacer observaciones de campo para sentir directamente la realidad sin que un intermediario tenga que ver e interpretarla por ellos. Sin embargo, la observación no es simplemente cuestión de abrir nuestros ojos y oídos a la gente en las situaciones de la vida real. Tenemos que entrenar nuestros ojos y oídos y aprender a registrar nuestras observaciones. Los diarios, listas de cotejo, los mapas y diagramas, guias, escalas sociométricas, escalas de calificaciones y cámaras pueden utilizarse para registrar observaciones. Las guías de observación no son fáciles de elaborar y pueden deslizarse en ellas gran cantidad de errores. Examinemos los siguien ejemplos: ITEMES COMENTARIOS ¿Pueden los alumnos sentados en la parte posterior de la clase escuchar al maestroestudiante? ¿Puede observarse esto? ¿O tenemos que preguntar a los alumnos sentados en los asientos de atrás si oyen? ¿O debería el evaluador tratar de escuchar desde la parte trasera del salón? ¿Habla el maestro-estudiante con confianza en sí mismo? ¿Qué debemos mirar para observar manifestaciones de confianza en sí mismo? ¿Qué situación económica tienen los que han solicitado préstamos? ¿Podemos “observar” la situación económica como tal? ¿Cómo utilizaron los fondos quienes obtuvieron préstamos de la sociedad cooperativa; tomaron otra esposa, pagaron pensiones de los niños, comenzaron a beber más o compraron ropa nueva? ¿Cómo podemos observar esta historia de comportamientos durante una visita o un corto período e observación? Este tipo de información tendrá que ser recogida por otros medios alternativos. Una guía de observación busca observar: actitudes de las personas antes de que comiencen una reunión pública; y actitudes de las personas durante y ¿Es posible observar esto? ¿Cambiar las actitudes durante una reunión pública? ¿Se muestran las actitudes en las caras de las Creativo 3.7 22.2 26.6 23.8 18.3 5.8 % % % % % % No creativo
Evaluación Educativa Pag.- 410 Universidad Pedagógica Nacional-Hidalgo ESTOS MATERIALES SON EXCLUSIVAMENTE PARA USO DIDÁCTICO. NO TIENE FINES DE LUCRO después de la reunión personas? ¿Lleva la sociedad cooperativa los libros exigidos por la ley? Está bien: pero ¿no es esto una cuestión de auditoría más que de observación? Registros y documentos Los registros y documentos son fuentes de datos importantes para el evaluador. El análisis de los registros y documentos puede ser cuantitativo (adecuado el paradigma racionalista) o cualitativo (adecuado el paradigma naturalista). La ética de la compra de datos Con frecuencia surge esta interrogante: ¿Debe un evaluador pagar a los informantes en un estudio evaluativo? No hay una simple respuesta de “Sí” o “No”. La producción de conocimiento es una función social; y en el caso de un estudio de evaluación, la utilización social de la información evaluativapuede ser bastante clara tanto para los evaluadores como para los informantes. Si el evalluador esta trabajando a nombre del gobierno o de una agencia voluntaria sin animo de lucro, la evaluación esta sirviendo un interés público. Los informantes como buenos ciudadanos comprometidos, deben participar gratis en el estudio evaluativo. Sin embargo, si se coloca a un sujeto en una situación de tener que elegir entre trabajar en la construcción o participar en lel estudio evaluativo, se le debe pagar para compensarlo por la pérdida del jornal. Cosas para hacer o para pensar 1. Desarrolle una lista detallada de afirmaciones verdaderas, principios, destrezas y actitudes que usted quisiera que hubieran aprendido los que participan en el curso de capacitación hacia el final del mismo. 2. ¿Le han entrevistado recientemente como parte de una evaluación o algún tipo de encuesta? ¿Qué recuerda que haya sido bueno en la entrevista? ¿Qué le pareció irritante o naceptable? ¿Fue capaz el entrevistador de ganar su confianza? 3. Elabore ua guía de observaciones cobre “Los Hábitos de Trabajo en la Oficina”. Ensáyela observando a un colega. Pídale a su colega que la use para observarle a usted. H. S. Bhola. “Herramientas y técnicas de la Evaluación Naturalista”. En: La evaluación de proyectos y campañas de alfabetización para el desarrollo. Instituto de la UNESCO para la educación. Antlogía UPN “Evaluación y seguimiento en la escuela LE’94” pp. 164-172. Ed. Santiago de Chile (1992 pp. 186-198).
Evaluación Educativa Pag.- 411 Universidad Pedagógica Nacional-Hidalgo ESTOS MATERIALES SON EXCLUSIVAMENTE PARA USO DIDÁCTICO. NO TIENE FINES DE LUCRO LECTURA: EL PROCESO EN UNA MIRADA: HERRAMIENTAS Y TÉCNICAS DE LA EVALUACIÓN NATURALISTA∗ PRESENTACIÓN El hecho más importante de la evaluación es que no presenta excusas por el uso del individuo humano como instrumento de recolección de datos. No tiene pretensiones de construir instrumentos “confiables” que recojan datos “objetivos”. En efecto, los instrumentos más ampliamente utilizados en la EN son la entrevista inestructurada y la observación participante. Los materiales documentales también son muy usados. El evaluador naturalista no pretende permanecer por fuera de su estudio evaluativo. Con frecuencia se hace uso de un diario reflexivo para registrar las ideas y experiencias personales. EL PROCESO EN UNA MIRADA: HERRAMIENTAS Y TÉCNICAS DE LA EVALUACIÓN NATURALISTA La evaluación naturalista busca estudiar la vida como una totalidad, con todas sus complejidades, tal corno esta enraizada en su contexto y es vivenciada por aquellos que están inmersos en la realidad que se estudia. Es un encuentro personal, no cualquier examen desapasionado.1 Por lo tanto, no debe sorprendernos que el evaluador naturalista quiera ver, preguntar e interactuar para reunir todas las cosas. El instrumento básico en la EN es el humano -el evaluador mismo. Puesto que la EN esta interesada en los significados del actor y su contexto, casi siempre se utiliza la entrevista y la observación inestructuradas de modo que puedan hacerse ricas descripciones (que dan al lector el sentimiento de haber estado ahí). Estas descripciones deben tener resonancia y ser coherentes. Otras herramientas y técnicas son las del análisis de contenido de los documentos.2 La Figura 1 de la página siguiente, presenta en forma gráfica la progresion característica de la indagación naturalista. Como puede observarse en, el diagrama, la fase de recolección de datos típicamente comprenderá entrevistas, observaciones, análisis documentales y el uso de diarios reflexivos. Como parte del análisis de los datos; estos datos serán sometidos al sub-diseño del círculo hermenéutico para obtener los resultados requeridos, en términos del estudio y/o la heurística, lineamientos guía, hipótesis de trabajo o modelos. ∗ H. S. Bhola, “Herramientas y Técnicas de la Evaluación Naturalista”, en: La evaluación de proyectos, programas y campañas de alfabetización para el desarrollo. Instituto de la UNESCO para la educación. Editado en Santiago de Chile, 1992. pp. 186-198.
Evaluación Educativa Pag.- 412 Universidad Pedagógica Nacional-Hidalgo ESTOS MATERIALES SON EXCLUSIVAMENTE PARA USO DIDÁCTICO. NO TIENE FINES DE LUCRO Métodos de recolección de datos A continuación incluimos algunas notas sobre algunas herramientas típicas de la EN. La entrevista en la EN La entrevista en la EN es inestructurada en el sentido que no pregunta al entrevistado una serie de preguntas estándar ya hechas pero es estruturada en un sentido más profundo y en un nivel superior. En términos de Paulo Freire, tal entrevista puede describirse como dialógica. Su propósito no es obtener respuestas a las preguntas, sino permitir al entrevistado describir su mundo en sus propias palabras. Sugiriendo cuestionamientos genuinos, haciendo comentarios serios y tranquilizadores y proporcionando refuerzos, el entrevistador puede llegar a interactuar profundamente con el entrevistado quien podrá entonces formular coherentemente lo que para él significan las realidades de su entorno.3 El entrevistador comienza por plantaer temas generales y exponer las raíces problemáticas de ciertos temas. Después de establecer los límites generales del tema de la entrevista, el entrevistador naturaliza deja que el entrevistado se haga cargo del curso de la misma. El entrevistador escucha con interés y simpatía, animando al entrevistado a profundizar sus explicaciones, a volver a algún punto anterior, a seleccionar, juzgar y tomar posiciones. Una entrevista como ésta dura normalmente varias horas. La evaluación naturalista es, efectivamente, un trabajo intensivo. Las entrevistas en profundiad pueden ser registradas por el entrevistador tomando notas en presencia del entrevistado o inmediatamente después, cuando el entrevistador tiene todo fresco en su mente. Si el entrevistado lo permite seria preferible grabar la entrevista. Articular las Necesidades de I f ió Formular las Inquietudes y Temas de E l ió Nota: El Evaluador es el I Entrevistar Transc ibi / Revisar l Observar Elabor / Revizar l Revisar la Literatura y la Documanteción Mantener un Diario R fl i Analizar Sinteti Discutircon los CoEstablecer Nuevos bl Revizar/Refina Resultados Heurística Lineamiento s Hipótesis de Trabajo Recolección de Círculo DISEÑO Figura 1: El Proceso de Evaluación
Evaluación Educativa Pag.- 413 Universidad Pedagógica Nacional-Hidalgo ESTOS MATERIALES SON EXCLUSIVAMENTE PARA USO DIDÁCTICO. NO TIENE FINES DE LUCRO Entrevistas grupales focalizadas El evaluador naturalista puede con frecuencia hacer uso de entrevistas grupales focalizadas en temas particulares. Esta técnica se ha utilizado en la investigación de mercados en los Estados Unidos por más de veinte años. Su objetivo es recoger información profunda a través de la discusión grupal, llegando así a conocer los pensamientos, percepciones, sentimientos y actitudes de personas conocedoras de un programa. El grupo focal es, característicamente, un grupo homogéneo de siete o más personas en interacción “dirigida” unos con otros. La dirección del grupo está en manos de un moderador. Un observador está también presente. La discusión comienza con una lista de inquietudes, llamadas “preguntas estímulo”. Generalmente se graban estas entrevistas, que normalmente toman de 45 a 60 minutos. Como en todas las técnicas de dinámica de grupos, el modelador tiene que dirigir al grupo de modo que se produzcan bastantes ideas, que estas sean variadas y de buena calidad, que los participantes no se aparten del tema, que se mantenga la espontaneidad y se compartan las ideas cuando estas no estén del todo desarrolladas; que los participantes produzcan ideas y no simplemente reaccionen a las ideas de otros, y que la personalidad y el estatus de los participantes no influyan en el grupo.4 La observación de campo La observación de campo es una estrategia de recolección de datos que pueden usarse tanto para las evaluaciones racionalistas como para las naturalistas.5 En la tradición de la EN, la observación será inestructurada y se hará sin prisa. Puede ser una observación participante o no-participante. En la observación deben separarse las fases de registro y de interpretación. El observador debe registrar lo que ha visto. Lo que pudo significar debe reservarse para la interpretación posterior. Sea que se utilicen en la EN o en la Er, pueden elaborarse instrumentos sistemáticos en cada caso para registrar los datos de la observación. La realización de estudios de rastreo y cronologos Un estudio de rastreo, como lo iindica su nombr, sigue el rastro del progreso de una persona a través del tiempo. Así, un estudio de rastreo de un neo-letrado parecerá una corta biografía de esta persona, registrando lo que la alfabetízación puede haber hecho con la vida del neo-letrado, como aplica sus habilidades alfabetas en el trabajo y la vida en general. El profesor Myrtle Scott, colega de este autor en la Universidad de Indiana, ha desarrollado el concepto de cronologo, el cual implica el seguimiento de los sujetos durante un período de tiempo determinado -una hora, un día, una semana- en su habitat natural (una comunidad, una escuela, un hospital) y el registro de lo que hacen. Estos cronologos son de gran utilidad para el estudio de los papeles y funciones emergentes de los agentes del desarrollo y de la alfabetización a nivel de base.
Evaluación Educativa Pag.- 414 Universidad Pedagógica Nacional-Hidalgo ESTOS MATERIALES SON EXCLUSIVAMENTE PARA USO DIDÁCTICO. NO TIENE FINES DE LUCRO Análisis de registros y documentos El análisis de registros y documentos puede realizarse tanto en la ER como la EN.6 En la primera, el análisis de contenido implica la selección aleatoria del contenido y el uso de técnicas estadísticas para llegar a aseveraciones generales. En la EN el análisis de contenido está más interesado en la agregación de significados y la cristalización de temas que puedan estar insertos en diversos documentos. Medidas no reactivas7 Este tipo de medidas también puede usarse en estudios evaluativos ER y EN. Como sugiere su nombre, estas medidas no influyen en los informantes. Se observa, por ejemplo las huellas de comportamiento que han dejado. El estado de la cartilla que usa el educando puede ser una indicación de cuanto la ha leído. La forma de vestirse el trabajador de campo puede indicar la “distancia social” que mantiene con respecto a las personas a las cuales busca servir. La basura que bota una familia puede decirnos mucho sobre sus hábitos de compra y consumo -¡sin que se den cuenta! El diario reflexivo El diario reflexivo es exactamente lo que sugiere su nombre -un diario en el cual se registran las reflexiones (Lincoln y Guba usan este término para indicar quee el evaluador esta registrando en el diario gran cantidad de información acerca de sí mismo como instrumento humano de evaluación. El evaluador mantiene un diario en el cual registra preferiblemente a diario, (i) el programa de cada día y los aspectos logísticos del estudio: (ii) anota las decisiones metodológicas que va tomando día a día y por que fueron necesarias; y (iii) sus reflexiones personales sobre las experiencias y las expectativas, conflictos de valores y colaboraciones con las partes interesadas, el aburrimiento que le produce el trabajo y la emoción de las iniciativas que surgen. El diario reflexivo se convierte así en el super-ego del evaluador, una ayuda a la memoria y una fuente de control de sus interpretaciones. Casos de métodos de EN en acción La teoría y la metodología de la EN están todavía emergiendo en un proceso de dtscusión. Se combina una variedad de métodos como los presentados arriba, manteniendo los supuestos subyacentes de la indagación naturalista (esto es, la realidad es una construcción social) y su objetivo no es formular proposiciones universales a manera de leyes, sino “aseveraciones fundamentadas” en contextos particulares. Hay pocas evaluaciones naturalistas disponibles en el campo de la alfabetización que pudieran presentarse como modelos a seguir. Sería útil, no obstante, esbozar los enfoques metodológicos y los métodos utilizados por algunos evaluadores en el campo educativo, quienes afirman que realizan análisis naturalistas o que tienen una orientación naturalista. Por consiguiente se han esbozado dos casos. Los lectores serán capaces de derivar estos ejemplos algunas ideas iniciales sobre lo que significa hacer un estudio evauativo con orientación naturalista.
Evaluación Educativa Pag.- 415 Universidad Pedagógica Nacional-Hidalgo ESTOS MATERIALES SON EXCLUSIVAMENTE PARA USO DIDÁCTICO. NO TIENE FINES DE LUCRO CASO 1 John C. Creswell y sus seis asociados8 hicieron un análisis naturalista del papel relacionada con el desarrollo de la facultad que desempeñan los decanos de departamento en situaciones de educación superior. Estos investigadores no pueden ser considerados “puristas” de la metodología de la EN pero definieron su trabajo como “un proceso de investigación con una fuerte orientación naturalista, la cual aísla inductivamente el problema estudiado, descubre un marco teórico a priori en lugar de verificarlo, y reporta los resultados hasta la fecha para ser sometidos a una posterior exploración cualitativa y a una investigación cuantitativa”. El método de investigación del análisis naturalista operacionalizado para este estudio comprendió cuatro fases: Fase 1: Establecimiento de la dirección para la investigación. Fase 2: Caracterización de la muestra y desarrollo de procedimientos de entrevistas para el estudio nacional. Fase 3: Realización de las entrevistas telefónicas. Fase 4: Análisis de los datos de los informes verbales de los casos entrevistados. Las acciones detalladas de cada una de las fases enumeradas fueron: Fase 1 Identificación de las dimensiones para estudiar el papel del decano. Esto incluyó algunas preguntas generales como: ¿Cuáles son las características demográficas de los decanos “efectivos” y se sienten ellos responsables por contribuir al crecimiento y desarrollo de la facultad? ¿Qué clase de situaciones de la facultad requieren su apoyo y que enfoques utilizan ellos? ¿Cómo es la ayuda del decano moldeada por variables contextuales del ambiente de trabajo académico tal como la etapa de la carrera del miembro de la facultad, si la asistencia es iniciada por el decano o miembro de la facultad: diferencias por disciplina y diferencias institucionales? Uso de 99 actividades que los decanos realizaban. Desarrollo de un documento conceptual Reacción al documento por parte de líderes nacionales reconocidos en el campo del desarrollo de la facultad. Realización de un estudio piloto, el cual dio oportunidad para someter a prueba la técnica de la entrevista telefónica. Dirección de dos disertaciones doctorales. En su conjunto estas acciones tuvieron como resultado el surgimeinto de áreas de cuestionamiento tales como características de los antecedentes de los decanos; situaciones o
Evaluación Educativa Pag.- 416 Universidad Pedagógica Nacional-Hidalgo ESTOS MATERIALES SON EXCLUSIVAMENTE PARA USO DIDÁCTICO. NO TIENE FINES DE LUCRO asuntos de la facultad; prácticas de desarrollo de la facultad, en general, y condiciones de los departamentos. Fase 2 Búsqueda de representatividad en la muestra. Desarrollo de una guía de entrevista semiestructurada; y entrevistadores capacitados para lograr una administración consistente y precisa de la guía. Uso de formas de codificiación para registrar las respuestas a las entrevistas. Soicitud a las personas de que “¡identificarán de 3 a 5 decanos de facultades que sobresalieron en ayudar a la facultad en su crecimiento y desarrollo” en el primer ciclo de entrevistas. Fase 3 Realización y registro de entrevistas durante un período de más de nueve meses, cada una de las cuales duraba un promedio de 45 minutos. Control de confiabilidad entre entrevistadores. Fase 4 Iniciación del análisis tan pronto como hubo suficientes casos disponibles. Sucedió que: Las primeras 50 entrevistas se utilizaron para desarrollar los procesos de análisis. Las preguntas abiertas de estos 50 casos se “rigieron” en categorías preliminares y se clasificaron de acuerdo al enfoque de la pregunta. Entonces se incorporaron al análisis los 135 casos restantes. Las “historias” variadas ayudaron a identificar tipos de “situaciones de la facultad” y de “enfoque de los decanos”. Triangulación entre el equipo de investigación para recategorizar las situaciones y/o enfoques al examinar los casos más extremos, maximizar similitudes y diferencias y desarrollar prototipos. Resultados: una matriz conceptual. Todos los datos utilizados eran de auto-informes.
Evaluación Educativa Pag.- 417 Universidad Pedagógica Nacional-Hidalgo ESTOS MATERIALES SON EXCLUSIVAMENTE PARA USO DIDÁCTICO. NO TIENE FINES DE LUCRO CASO II En una reciente evaluación de los programas de la Organización de Alfabetización de Adultos de Zimbabwe (ALOZ) realizada por Bhola y Muyoba, la metodología tenía una orientación naturalista. Los procesos y los pasos se describen a continuación: El contrato de evaluación había enumerado preguntas generales que necesitaban respuesta: ¿Cómo había afectado las vidas de aquellos a quienes querían servir los programas de alfabetización de adultos y de generación de ingresos de ALOZ? ¿De qué manera el trabajo de alfabetización había contribuido a la promoción de los esfuerzos de alfabetización a nivel nacional en Zirnbabwe? ¿Como contribuyó la asistencia proporcionada por USAID/ZIMBABWE a ALOZ durante los primeros años de la década de los 80 a cumplir la misión de ALOZ? Se realizo un análisis detallado de la documentación relacionada con la estrategia de Zimbabwe y del papel asignado a la alfabetización en la estrategia; la política nacional de alfabetización y la ejecución de la campaña nacional de alfabetización del gobierno, la misión de ALOZ en relación con la promoción de la alfabetizacion y su materialización: y las metas y los objetivos de la subvención de USAID/ZIMBABWE a ALOZ. Se diseño un juego de 12 cuadros para desarrollar un retrato numérico del trabajo y los logros de ALOZ durante el período que duró la subvención de USAID. Se emprendió un extenso trabajo de campo para desarrollar una descripción de como los proveedores de los programas de ALOZ y los participantes y otros beneficiarios habían vivenciado el programa. Se cubrió una muestra intencional de las localidades típicas para abarcar diferentes lenguas (Shona y Sindebele) y diferentes realidades socio-económicas (área urbano-industriales, plantas manufactureras, agro-industrias, zonas rurales. asentamientos rurales, etc.). En cada localidad, se entrevisto a toda la gama de personas involucradas, entre ellos los participantes, sus esposas y otros miembros de la familia, beneficiarios indirectos de las actividades de generación de ingresos en las comunidades, maestros, supervisores, capacitadores, empleados de agencias auspiciadoras y colaboradoras, etc. Se utilizaron guías de entrevista semiestructuradas como base para las conversaciones con los informantes. Primero, se elaboraron estudios de caso completos -uno por cada una de las localidades incluidas, usando las respuestas de categorías pertinentes de personas involucradas. Luego se usaron todos los datos -los datos numéricos organizados en cuadros y los estudios de caso- de varias formas para responder las preguntas especificas formuladas por los que toman las decisiones.
Evaluación Educativa Pag.- 418 Universidad Pedagógica Nacional-Hidalgo ESTOS MATERIALES SON EXCLUSIVAMENTE PARA USO DIDÁCTICO. NO TIENE FINES DE LUCRO El Análisis de los datos en la EN En análisis de los datos en la EN es de cierta manera un proceso mucho más desafiante que el análisis estadístico. No se trata solamente de una agregación de números, sino en la generación de significados y la búsqueda de los patrones más abarcadores en los cuales residen esos significados. El primer paso en el análisis de los datos de EN es una inmersión total en los datos que ya se han recogido. El evaluador debe leer y re-leer las transcripciones de entrevistas, informes de observaciones, notas del análisis documental y el diario reflexivo, (ver la Figura 2 en la página anterior). Las palabras y frases clave, así como los temas recurrentes deben anotarse en tarjetas y también las citas importantes de comentarios hechos por las personas involucradas. Mediante un proceso de síntesis, usando el modelo CLER y el formato “antes-después” deben reportarse los cambios en las vidas de los individuos, grupos, instituciones y comunidades. Desde luego, no hay fórmulas estándar en el análisis de los datos de las EN, pero los evaluadores que usan esta modalidad están seguros de sacar provecho de la experiencia al tratar de darle sentido al mundo con base en los datos recogidos. Cosas para hacer o para pensar 1. Use una grabadora para grabar su entrevista con un campesino para averiguar por qué él no pue de seguir todos los consejos que le da el agente extensionista. Escuche de nuevo la entrevista. ¿Quién habla más, usted o el campesino? ¿Son sus preguntas un poco impacientes? ¿Está usted realmente escuchando? Transcripciones Completas de las Entrevistas, Informes de Observaciones, Notas sobre los Documentos y el Diario Reflexivo. Leer el Material, Releerlo sgún sea necesario, Marcar Palabras y Frases Clave, Temas Recurrentes y Citas Significativas Darle Sentido al Delinear el Contexto, los Insumos y Procesos del Programa, los Efectos en los individuos, Grupos, Instituciones y Escribir el informe para Servir a Diferentes Interesados Figura 2: Focalización de la EN en el Procesamiento y
Evaluación Educativa Pag.- 419 Universidad Pedagógica Nacional-Hidalgo ESTOS MATERIALES SON EXCLUSIVAMENTE PARA USO DIDÁCTICO. NO TIENE FINES DE LUCRO 2. Suponga que usted está interesado en aprender sobre el nivel de salud de una comunidad. ¿Qué observaría usted? Compare sus observaciones con las que haga un promotor de salud. Notas de la lectura 1 Para una discusión general sobre la investigación de campo ver Johnson, J. M., Doing field research. New York, NY: The Free Press, 1975. Puede encontrarse una discusión de la teoría fundamentada y los avances en el concepto de ésta en Glaser, Barney y Strauss, Anselm L.., the discovery of grounded Theory. Chicago, II: Aldine Publishers, 1967; y en Glasser, Barney, Theoretical Sensitivity: Advances in the methodology of grounded theory, Mill Valley, CA: sociology Press, 1978. 2 Algunas referencias son: Bogdan R, y Biklen, S.K. Qualitative research for education. Boston, MA: Allyn and Bacon, 1982. Patton, Michael Quinn. Qualitative evaluation methods. Beverly Hills, CA: Sage, 1980. Miles, Matthew y Hubermann, A. Mi chael. Qualitative data analysis: A source book of new methods, Beverly Hills, CA: Sage. 1984. 3 Gorden, R., Interviewing. 3rd ed. Homewood, II: Dorsey Press, 1980 y Dexter, L.A., Elite and specialized interviewing. Evanston, II: Northwestem University Press, 1970, son algunas referencias útiles para hacer entrevistas. También debe uno referirse a la literatura sobre las entrevistas etnograficas. La etnografía utiliza la descripción como componente importante de la recolección de datos. El énfasis está en la perspectiva émica (del interior) para poder comprender la realidad de los sistemas sociales: y al mismo tiempo proporciona el contexto de modo que se entiendan los datos apropiadamente. Ver Fetterman, David M., Ethnography in educational evaluation. Beverly Hills. CA: Sage, 1984; Spindler, George y Louise Interpretative ethnography of education at home and abroad. Hillsdale, NJ: Lawrence Erlbaum Associates Inc.,1987; y Spradley, James P., The ethnographic interview. New York, NY: Holt, Rinehart and Winston, 1979. 4 krueger, Richaed A. Focus group interviewing: step by step intructions for extension workers. Minnesota Agricultural Extension Service. (320C Vocational Technical Building, 1954, Buford Avenue, St. Paul, Minnesota, 55108), 1985. También Qualitative Research Council of the Advertising Research Foundation. Focus groups: Issues and Approaches. New York, NY: Advertising Research Foundation, inc., 1985. 5 McCall, G.J. y Sirnrnons, J. L. (eds.) Issues in parncipant observation: A text and reader. Reading, MA: Addison-Wesley, 1969. También Spradley, J. P., Participant observation. New York, N.Y: Holt, Rinehart y Winston, 1980. 6 Krippendorff, Klauss. Content Analysis. Beverly Hills, CA: Sage, 1980. 7 Ver Webb, E.J. et al. Unobtrusive measures. Snokie, II: Rand McNally, 1966 para una discusión sobre estas mediciones. Una discusión más reciente se presenta en Sechrest, Lee (ed.) Unobtrusive measures today. New Directions for Methodology of Behavioral Sciences, No. 1, San Francisco, CA: Jossey-Bass, 1979.
Evaluación Educativa Pag.- 420 Universidad Pedagógica Nacional-Hidalgo ESTOS MATERIALES SON EXCLUSIVAMENTE PARA USO DIDÁCTICO. NO TIENE FINES DE LUCRO 8 Creswell, John W, et al. “The faculty development role of departament chairs: A naturalistic analysis”. Investigación presentada en el Annual Meeting of the Association for the Study of Higher Education, Baltimore, Mayland, noviembre 21-24, 1987. 9 Bhola, HS. y Muyoba, G.N. The role of the Adult Literacy Organization of Zimbabwe (A) in prornoting Universal Literacy – A Retrospect and a Prospect. Harare. ALOZ/USAID/ZIMBABWE, 1989. Una descripción interesante de la ejecución del enfoque naturalista se encuentra en Valbuena Paz, Antonio y Gónzalez Olivares, Guido. “Case Study of CESAP Programme: “Mucuchies Peasant Programme”, Hamburg: UNESCO Institute for Education (UE) project PRG 5. 14/4.53, Document 10, junio 1990. Mimeo.