¡Otra vez prueba! Construcción epistémica de sentido común de la evaluación educativa en futuros docentes

Representaciones sociales

El concepto de representaciones sociales (en adelante RS) fue formulado originalmente por Serge Moscovici (1925-2014) en los años sesenta. La teoría de las representaciones sociales (TRS) sostiene que las representa ciones expresan normas, estereotipos y prejuicios generados en el actuar (Moscovici, 1979), y son producidas colectivamente como resultado de la interacción entre los individuos que comparten un mismo espacio social (en nuestro caso, en el sistema escolar chileno y en su etapa de FID institucionalizada).

Dichas representaciones configuran un conocimiento sobre la realidad y dan origen a disposiciones propias para relacionarse e interactuar con ella, conformando un sistema de valores, ideas y prácticas complejas en los sujetos (Farr, 2003). En palabras de Jodelet (1986): “El concepto de representación social designa una forma de conocimiento específico, el saber de sentido común, cuyos contenidos manifiestan la operación de procesos generativos y funciones socialmente caracterizados. En sentido más amplio, designa una forma de pensamiento social” (p. 474). De allí que las RS no solo orientan el actuar de los individuos, sino que también dan sentido a la misma, organizando los procesos simbólicos que intervienen en las relaciones sociales. Abric (2001) postula que:

las representaciones sociales cumplirían cuatro funciones básicas de: saber (conocer y comprender la realidad), iden tidad (identidad y especificidad de los grupos o colectivos sociales), orientación (orientación de las practicas diarias de las personas pertenecientes al grupo o colectivo social) y justificadora (de las acciones en el marco de las normas y valores del grupo o colectivo social). (Rubira-García y Puebla-Martínez, 2018, 157-158)

En definitiva, las RS corresponden a una modalidad de conocimiento, pues una representación de algo siempre es realizada por alguien, por lo que “tiene una función constitutiva de la realidad” (Guzmán, 2011, p. 68). Frente a ello, tal como sostiene Mireles-Vargas (2015), la tarea del investigador es comprender cómo se elabora ese conocimiento de sentido común e indagar cuál es su contenido y cómo este se organiza. Según Knapp et al. (2003) y Vergara (2008), el supuesto que subyace en esta perspectiva es que el campo del objeto o contenido represen tado se encuentra organizado y jerarquizado, configurando una red de significados en torno a un nodo o núcleo (Peña et al., 2019). En este caso, para lograr tal propósito investigativo, adherimos al enfoque estructuralista o teoría del núcleo central postulado por Abric (2001), dado que su propuesta se ajusta al método de análisis empleado, como veremos más adelante.

La conceptualización que construyen los futuros docentes sobre la noción de evaluación educativa durante su escolaridad es un primer acercamiento a su representación, con la que concurren a su etapa de FID institucio nalizada. Este sería un insumo específico para la comprensión global de las rs, que se justifica dado que uno de los elementos que contribuye a la elaboración de una rs se refiere a “lo que yo sé”, “lo que yo veo” y “lo que yo siento” respecto de un acontecimiento, hecho o fenómeno (Zamora, 2013). En este sentido, la cantidad y calidad de palabras disponibles revelarían la conceptualización que poseen las personas sobre la evaluación como objeto representado.

Evaluación educativa como objeto representado

Como queda señalado, el objeto central del presente estudio es la evaluación educativa. Este concepto hace referencia a un amplio campo de conocimiento especializado, de larga construcción histórica, pero que, conceptualmente, tiene sus orígenes en los trabajos de Tyler (Sandoval et al., 2022). Aunque se reconoce la variabilidad de objetos y fenómenos educativos agrupados bajo esta noción, partimos de la base de que la evaluación educativa no se puede comprender al margen de la escolarización formal de un sistema escolar (Sandoval y Pavié, 2020).

Siguiendo los aportes de diferentes autores, podemos postular que la evaluación educativa es un juicio susten tado en información y evidencia recolectada sistemáticamente para tomar decisiones que permitan mejorar los procesos educativos o formativos en los diferentes niveles del sistema escolar (Cronbach, 1963; Scriven, 1973; Stufflebeam y Shinkfield, 1987; Escobar, 2014; Jiménez-Fontana, 2016).

No obstante, tras considerar que el presente artículo da cuenta de las representaciones que han construido los sujetos sobre la evaluación en su etapa escolar, postulamos que sus vivencias en dicha etapa los llevan a relacionar esta noción con su experiencia específica de evaluación de sus aprendizajes. En este sentido, la construcción de significados, valoraciones, actitudes, etc., sobre la evaluación es producto de sus prácticas y vivencias de evaluación de sus aprendizajes en el marco de la escolarización.

En la literatura especializada se distingue entre finalidad y función social de la evaluación (Sandoval et al., 2022). Sin embargo, dado que dicha distinción es propia de los especialistas, postulamos que el estudiantado, en calidad de sujetos evaluados, experimenta la función social sin necesariamente tomar conciencia de ello. Desde ese lugar, construyen ideas, vivencias, sentimientos, valoraciones e interpretaciones con las cuales concurren a su formación profesional docente. Por otro lado, los estudiantes interactúan con prácticas de evaluación y están expuestos al uso de nomenclaturas propias de este campo en su etapa de escolarización. A partir de allí, construyen naturalmente una representación. Así, nociones como pruebas, talleres, autoevaluaciones, entre otras, pasan a formar parte del lenguaje propio del estudiantado e integran un conocimiento situado que configurará su representación sobre la noción de evaluación (Maldonado y Sandoval, 2020).

Por lo anterior, y asumiendo que dicho lenguaje será empleado por los estudiantes, es necesario inferir la conno tación semántica de tales palabras. Para responder a esta necesidad, una decisión metodológica es interpretar los resultados evocados desde la disciplina. En resumen, para acceder a la representación sobre la evaluación (dimensión información), se articula el conocimiento de sentido común con el conocimiento especializado de la evaluación. Para realizar la interpretación de las nociones evocadas, es necesario identificar algunas nociones reconocidas en la literatura especializada que habitualmente son empleadas en el sistema escolar por los diferentes agentes evaluadores siguiendo diversos criterios de agrupación (Izquierdo, 2008; Esquivel, 2009). A continuación, se presentan tipologías de evaluación vinculadas a la intencionalidad, momento, agente y extensión (Sandoval et al., 2022).

Objetivos

El objetivo general de la investigación fue develar las conceptualizaciones que los futuros docentes han construido sobre la noción de evaluación en una universidad regional y estatal de Chile. En ese contexto, los objetivos específicos fueron los siguientes: Analizar los significados de las palabras evocadas para su interpretación desde el conocimiento especializado en evaluación. Inferir los elementos semánticos que caracterizan la conceptualización de la evaluación, cuyo análisis forma parte del conocimiento especializado de la profesión docente.

Tipo de estudio

La investigación corresponde a un estudio no experimental de tipo transversal, ya que se recolectó información en un solo momento, al término del año académico 2021. Dado el contexto de docencia en modalidad virtual, se trata de un estudio de casos con muestreo no probabilístico, por conveniencia (Stake, 1998; Neiman y Quaranta, 2006).

Participantes

Luego de gestionar los permisos con las autoridades y el Comité de Ética institucional, se convocó a participar a los estudiantes de las carreras de formación inicial docente matriculados de manera regular durante el segundo semestre de 2021. De acuerdo con el tipo de muestreo, participaron 105 estudiantes. De ellos, el 73,3 % (n=77) son de género femenino y el 26,7 % (n = 28) de género masculino, lo que coincide con la tendencia al predominio de mujeres en este tipo de carreras (Unesco, 2022; Sandoval et al., 2021).

Instrumento

Para la recolección de información se aplicó un cuestionario diseñado ad hoc en el marco de una investigación mayor. Dicho instrumento se enmarca en la técnica de asociación verbal, la cual, de acuerdo con el enfoque estructural, permite acceder a la conceptualización de una representación social a partir de términos o frases inductores. Su elaboración consideró una fase de formulación inicial, la aplicación piloto sobre cinco informantes y el ensamblaje del cuestionario en su versión definitiva (11 ítems, precedidos de un ejemplo). De acuerdo con los propósitos, se validó una pregunta inicial de contextualización, “¿Qué es lo que más recuerdas del colegio?”, que resultó funcional para situar al encuestado en el campo de la escolarización. Asimismo, se realizaron ajustes en la extensión de las oraciones en las últimas preguntas para facilitar la aplicación. Además, se elaboró un protocolo de aplicación que contempló instrucciones para la toma de consentimiento informado y la administración del cuestionario a través de una plataforma educativa.

A continuación, se describe el paso a paso de la tarea de asociación verbal. Después de cada ítem, el estudiante debe listar las primeras cinco palabras o frases que vengan espontáneamente a la mente. Luego, se solicita que las jerarquice asignando el número uno a la más importante y así sucesivamente hasta la palabra número cinco (la menos importante). En este artículo, se presentan resultados parciales de los datos recolectados, correspondientes a las tres preguntas-estímulo afines a la conceptualización de la evaluación del aprendizaje. Pregunta 1: A partir de tu experiencia escolar, ¿cómo eran las evaluaciones que vivenciaste en tu escolarización? Pregunta 2: ¿con qué palabras o frases definirías evaluación? Y Pregunta 3: ¿con qué palabras o frases caracterizarías las evaluaciones?

El contacto con el estudiantado se realizó vía correo electrónico institucional. Todos los participantes tuvieron la oportunidad de consultar sobre los propósitos del estudio al dar su consentimiento. Finalmente, se definió una modalidad única para el resguardo de la información y el acceso a los registros: una carpeta virtual como repositorio de la documentación del proyecto.

Procesamiento de la información y análisis de datos

Se procedió a procesar la información de los sujetos que participaron en la aplicación del cuestionario, en el marco de las técnicas de asociación verbal, de acuerdo con el enfoque estructural para indagar en las representaciones propuesto por Abric (2001). En este contexto, se realizó un procesamiento de los términos evocados y jerarquizados para llevar a cabo un análisis lexicológico acorde con los principios del enfoque estructural (Guirado et al., 2013). Específicamente, se registraron las respuestas en una planilla de cálculo y se realizó una normalización o lemati zación de los términos asociados, cuya operación “consiste en reducir los elementos del corpus léxico a su forma canónica” (Moliner y Mónaco, 2017, p. 101). Así, en la primera columna, se efectuó una simplificación de términos, por ejemplo, conservando verbos preferentemente en infinitivo. Tras la lectura total de las producciones asocia tivas, en una segunda columna se procedió a reducir los vocablos a etiquetas (conceptos o ideas aglutinantes) en función del campo semántico. De este modo, palabras como alumno y estudiante quedaron agrupadas en la etiqueta estudiantado. Luego, dado el propósito de destacar regularidades en el corpus de palabras, se procedió a la creación de un libro de códigos para su categorización (tercera columna). Tal como se desprende de Moliner y Mónaco (2017), “en general, estas categorías son el resultado de un trabajo de interpretación que consiste en identificar los campos semánticos o nocionales en las producciones de los participantes” (p. 102), producto de una integración entre teoría y datos empíricos.

Con este insumo se realizaron análisis descriptivos numéricos de las asociaciones según la distribución de casos por categoría y por pregunta-estímulo. A partir de este nuevo listado se observó la entropía o grado de organización de los términos según su frecuencia de aparición (Flament y Rouquette, 2003). El criterio interpre tativo para dar cuenta del consenso grupal fue el siguiente: si todos estos tienen la misma frecuencia, se trataría de un sistema desorganizado; caso contrario, cuando los tipos son cuantitativamente distintos. Así, un corpus organizado pone en evidencia que algunos términos tienen más relevancia que otros dentro del total, pudiendo distinguirse elementos semánticos en torno a un mismo objeto. Con este antecedente, se efectuó un análisis de las frecuencias de aparición e importancia de los tipos (palabras), a fin de inferir la conceptualización del objeto de representación. La síntesis final se ilustra en la siguiente tabla de doble entrada.

Figura 1: Ilustración del procedimiento para determinar el resultado a partir de la frecuencia e importancia de las asociaciones verbales

Significados de las palabras evocadas

Un primer resultado muestra la identificación de la cantidad de palabras evocadas por los participantes (de manera natural) y su clasificación en función de categorías superiores (ex post facto). Este proceso se llevó a cabo de manera iterativa, a posteriori, con la participación de los investigadores en tres rondas de clasificación. La primera se basó en una revisión global del corpus de vocablos. Se establecieron consensos para asignar las categorías y se enunciaron etiquetas preliminares, utilizando nociones propias de la disciplina de la evaluación. En una segunda fase, cada investigador asumió por separado la tarea de codificar el 70 % de los datos, y en reuniones quincenales se revisaron estas asignaciones (modalidad de auditoría entre jueces) hasta estabilizar la aplicación de las etiquetas entre todos los evaluadores. Finalmente, se revisó el 100 % de los casos para acceder a los significados desde el conocimiento especializado. A continuación, se presenta el libro de códigos en orden alfabético de las etiquetas, con una descripción y un resumen numérico de las palabras diferentes por categoría.

Clasificación de las palabras evocadas en el libro de códigos

En la Tabla 2 se presenta la diversidad de palabras en torno a cada pregunta-estímulo, clasificadas por categoría de análisis y considerando un mínimo de dos casos. En la primera fila se enumeran las preguntas inductoras, siguiendo el orden de presentación en el instrumento.

De la Tabla 2 se desprende que los participantes mencionan características de la evaluación utilizando palabras de distinta naturaleza; atributos relacionados con la extensión, la complejidad, la completitud y la percepción de la evaluación. Entre estas palabras, cuatro resultaron transversales a las preguntas: didácticas, extensas, largas y simples. La categoría que presentó más términos compartidos fue juicio, con menciones tanto positivas como negativas: buena, compleja, difícil, exigente, fácil, monótona, necesaria, repetitivo y tradicional. En contraste, la menor cantidad de coincidencias se observa en relación con el propósito (medición y calificación), lo evaluado (memorización) y las consecuencias de la evaluación (nivelación), con un solo término repetido en cada caso. Respecto de las emociones, la categoría de estado emocional negativo es la que aglutina mayor cantidad de palabras en común: aburrimiento, ansiedad, estrés y nerviosismo. En estado proacción, son comunes desafío y superación. Finalmente, en los tipos de evaluación se repiten alternativas, desarrollo, diagnóstica, ensayo, escritas, guía, prácticas, pruebas y teórico, que aluden a instrumentos, tipo de ítems y formatos.

A partir de lo anterior, se puede determinar el conjunto de evocaciones comunes entre las preguntas. En total, se trata de 23 palabras, pertenecientes a 7 de las 10 categorías (post facto). Esta síntesis recoge las frecuencias de aparición (Frec.) y los rangos de importancia promedio (Imp. Prom.) por caso, cuyo cálculo se realizó siguiendo el procedimiento sugerido por Moliner y Mónaco (2017, pp. 110-114). En la Tabla 3 se presenta la distribución de respuestas ordenadas alfabéticamente. Al final de ella se informa el promedio por columna, a partir del cual se distribuyeron los datos.

Los resultados de la Tabla 3 indican que los conceptos aburrimiento, estrés, fácil, largas y prueba son los más frecuentes cuando se consulta sobre las evaluaciones en el sistema escolar. Es llamativo que se asocien emociones negativas y que el conocimiento sobre la evaluación remita a aspectos de forma y logística. Asimismo, destaca el hecho de que existe una distancia importante entre las respuestas más frecuentes y las secundarias. Se observa una notable diferencia entre 15 y 8 menciones que aluden a conceptos como desarrollo, difícil y monótono. Tal desequilibrio se interpreta como una baja entropía en un conjunto estructurado, con términos que cuantitativamente son más elevados que otros. Es decir, ante las tres preguntas inductoras, las respuestas reflejan asociaciones jerarquizadas.

A continuación, se presentan las palabras que conforman la conceptualización de la evaluación, dado que tienen altas frecuencias de aparición. Se trata del conjunto de términos con al menos cinco casos y un nivel de importancia superior a tres puntos en promedio entre los participantes. En la Tabla 4 se muestra una tabla de doble entrada que representa la frecuencia de los conceptos evocados por los participantes y la importancia que les asignaron.

Los datos de la tabla 4 muestran que hay un cierto balance entre los conceptos evocados en las tres preguntas. Los participantes asocian la evaluación con pruebas de desarrollo, cuya demanda cognitiva es la memorización, y la relacionan con sentimientos negativos como el aburrimiento y la ansiedad. Las palabras que se distribuyen en la periferia se mantienen en un mismo campo semántico, predominantemente circunscrito a sentimientos y emociones negativas (aburrimiento, estrés, ansiedad).

A continuación, la distribución de datos en la parte inferior de la figura permite evidenciar la segunda periferia y los elementos contrastados, cuya particularidad radica en tener frecuencias bajas. Se trata del conjunto de términos con un máximo de cinco casos y un nivel de importancia inferior a tres puntos en promedio.

Tal como se desprende de la Tabla 5, los datos de menor frecuencia mantienen, en términos generales, las connotaciones semánticas de la zona central (alusiones a instrumentos y emociones negativas). Sin embargo, se complementan con nuevas ideas que ofrecen una visión más compleja de la evaluación, incluyendo alusiones positivas.