El impacto de la evaluación en el desempeño escritural

La escritura definida como un saber situado o, en palabras de Camps (2007), como una habilidad social compleja, involucra diferentes recursos y estrategias cognitivas con el fin de construir un discurso que, al tiempo que logra niveles de cohesión y coherencia internas, atiende a las normas y convenciones propias de la comunidad y del contexto discursivo en el que se produce. Esta característica se ve reflejada en los modelos teóricos que intentan describir el proceso escritor con la incorporación de un componente que tiene que ver con la revisión de lo ya escrito (Hayes, 1996; Kellogg, 2004).

Entre las muchas acciones pedagógicas que buscan incorporar este componente de revisión consciente al hecho escritural, se destaca la evaluación formativa. En la escritura universitaria, esta ha pasado de estar enmarcada en la heteroevaluación que realiza el profesor a asumir una forma participativa, en la que se "brindan oportunidades de práctica que, enriquecidas con la retroalimentación del tutor y de los compañeros, crean un espacio dialógico para el crecimiento, la comprensión y el logro" (Felcis y Kupnik 2020, p. 3). Se da pie, entonces, a estrategias de evaluación formativa, orientadas hacia la autoevaluación, la coevaluación y la evaluación compartida (Sala-Bubaré y Castelló, 2018).

Siguiendo a Sadler (1998), a la hora de analizar el impacto de estrategias de evaluación formativa resulta importante no solo tener en cuenta su efecto sobre la calidad de los productos del aprendizaje, sino también las percepciones que tienen los estudiantes frente a la implementación y los efectos de dichas estrategias, ya que desempeñan un papel protagónico en su uso.

En el caso específico de la autoevaluación y la coevaluación, varios estudios reportan el uso de datos relacionados con las percepciones de los estudiantes para analizar la incidencia que tiene la implementación de estas estrategias en los procesos de aprendizaje, y la forma como ellos las asumen (García et al, 2020; Lladó et al., 2020; Minguez et al, 2019 y Muñoz, 2020). Dichos estudios han mostrado que los estudiantes expresan percepciones positivas frente a la utilidad de estas estrategias para el mejoramiento de los procesos (Boud et al, 2014; Rollinson, 2005; Mirick, 2020). Más específicamente, y como veremos en los siguientes apartados, son diversos los estudios que reportan cómo la implementación de la autoevaluación y la coevaluación contribuye a mejorar los desempeños escritúrales (McDonald et al., 2000; Nicol y MacfarlaneSDick, 2006; Ruiz y Serra, 2017; Sadler, 1998; Tavakoli et al., 2019; Yorke, 2003).

El impacto de la autoevaluación en los procesos de escritura

La autoevaluación de lo escrito posibilita que los estudiantes monitoreen directamente sus propios procesos, reflexionen sobre su trabajo y establezcan estrategias que les permitan alcanzar sus objetivos. Esta no es un elemento externo que contribuye al aprendizaje, sino que, como lo definen Andrade y Warner, "es un proceso de aprendizaje durante el cual los estudiantes evalúan la calidad de su escrito comparándolo con criterios explícitamente establecidos y haciendo las revisiones necesarias" (2012, p. 42).

En consonancia con lo anterior, diversos estudios reportan que la autoevaluación impacta de manera positiva el desempeño escritural de los estudiantes ((avaherbakhsh, 2010; Khodadady y Khodabakhshzade, 2012; NedzinskaitéefaJ.,2006). En términos generales, este impacto se puede explicar porque la autoevaluación implica la realización de dos actividades principales: ( 1 ) el monitoreo y la valoración de la calidad del pensamiento durante la escritura, y (2) la identificación de estrategias que mejoren el proceso mismo de escribir (McMillan y Hearn, 2008, citados por Ratminingsih et al, 2018).

La autoevaluación permite igualmente que tanto estudiantes como profesores identifiquen las fortalezas y dificultades que se presentan durante la realización de la tarea, e implementen estrategias que contribuyan no solo a la construcción de un escrito de calidad (Birjandi y Siyyari, 2011; Hacker et al, 2009), sino al mejoramiento general del desempeño escritural actual y futuro (Harris y Graham, 1992; Pressley y Harris, 2006; Zimmerman y Risemberg, 1997).

Otro de los beneficios de la autoevaluación es que desarrolla la capacidad para diferenciar las características de un texto bien escrito de otro deficiente. En este sentido, la autoevaluación, siempre y cuando esté orientada desde unos criterios claros, le permite al estudiante tener información acerca de las particularidades de la tarea (Andrade, 2010; Andrade y Warner, 2012), y aprender a identificar los elementos que contribuyen a la elaboración de textos más efectivos. Al respecto, Lin-Siegler et al. (2015) afirman que la autoevaluación de la propia escritura implica integrarla con información de fuentes externas, como parámetros de valoración y casos ilustrativos de factores que hacen que la escritura sea buena o mala.

Es importante anotar que la autoevaluación de los textos escritos no es una tarea fácil, en especial para los estudiantes que tienen bajos niveles de desempeño escritural (Andrade y Boulay, 2003; Glaser y Brunstein, 2007; Graham, 2006; Harris et al, 2003; Harris et al, 2010). De ahí la importancia de que esté acompañada de un conjunto de estrategias que le permitan al estudiante tener información clara sobre la tarea y las acciones que puede emprender para evaluarla. Algunas de ellas son: las rúbricas de evaluación, los guiones y la instrucción basada en casos de contrastes. El presente estudio trabaja la primera de estas estrategias.

El impacto de la coevaluación en los procesos de escritura

Por otro lado, tenemos la coevaluación, definida como el proceso en el que los estudiantes revisan y evalúan los textos de sus compañeros, con miras a proporcionar una retroalimentación que pueda ser utilizada para la revisión de lo escrito. Los estudios indican que esta estrategia contribuye a mejorar las habilidades escritúrales, puesto que permite analizar la escritura desde dos frentes: la revisión y la realización misma del texto.

En cuanto a la revisión, esta posibilita a los estudiantes establecer comparaciones y reflexiones entre los escritos de sus compañeros y el suyo propio (Boud et al, 2014; Mirick, 2020; Rollinson, 2005). En cuanto a la realización misma del texto, si bien existe en los estudiantes un bajo nivel de confianza frente a la capacidad que tienen sus pares para evaluar textos escritos, los comentarios de sus pares contribuyen de forma significativa al mejoramiento de la escritura. De acuerdo con Patchan et al. (2018), existe creciente evidencia de que las retroalimenta-ciones de los compañeros pueden ser tan útiles y, en ocasiones, más útiles que las de los profesores (Cho y MacArthur, 2011; Cho y Schunn, 2007; Gielen et al, 2010; Hartberg et al, 2008; Hovardas et al, 2014; Topping, 2005).

Cabe anotar que el impacto de la coevaluación está mediado por factores tales como la calidad de los comentarios (Goldberg et al, 1995, VanDeWeghe, 2004; Tsivitanidou et al., 2011); el seguimiento de los profesores (McCarthy et al, 2011); la utilidad de los comentarios y la claridad que tengan los evaluadores frente a los propósitos de la revisión (Badger y White, 2000; Min, 2005; Pengitore, 2005; Thomas et al, 2016; Topping, 2009). En este contexto, se ha demostrado que el uso de las rúbricas de coevaluación contribuye significativamente a minimizar el impacto negativo tan frecuente en las retroalimentaciones (Cho et al, 2006; Grise-Owens y Crum, 2012; Panadero y Jonsson, 2013).

Las rúbricas de evaluación

Entendemos por rúbrica un conjunto de parámetros que permiten valorar el proceso o el producto final de una tarea determinada. Cada uno de estos parámetros se describe de acuerdo con niveles de calidad en el desempeño. De esta forma, una evaluación realizada mediante rúbricas no solo identifica un nivel de logro, sino que explica las razones por las cuales la tarea en cuestión alcanzó ese nivel.

Gran parte de los estudios que se han adelantado sobre el uso de rúbricas en la elaboración y evaluación de procesos escritúrales han estado relacionados con tres factores: primero, con el uso de estas como estrategia para desarrollar habilidades de autoevaluación en los estudiantes (Andrade y Du, 2005; Martínez-Figueira, Tellado-González y Rivas, 2013; Panadero, 2011 ; Powell, 2001 ; Reitmeier et al, 2004; Schneider, 2006;); segundo, con el análisis del diseño y la habilidad de los criterios de evaluación (Panadero y Jonsson, 2013; Reddy y Andrade, 2010; Uddin, 2014); y tercero, con el impacto que tiene el uso de rúbricas en los procesos escritúrales (Andrade y Du, 2005; De la Peña Portero y Núñez Cortés, 2018; Hafner y Hafner, 2003).

Los estudios frente al uso de rúbricas como herramienta de evaluación, autoevaluación e impacto en los procesos escritúrales han mostrado que los estudiantes expresan percepciones positivas frente a esta (Andrade y Du, 2005; Powell, 2001; Reitmeier et al, 2004; Schneider, 2006). Ellos consideran que los criterios y escalas de evaluación descritos en la rúbrica les brindan claridad frente a la tarea, lo que contribuye a disminuir los niveles de ansiedad y a aumentar las percepciones positivas de autoeficacia (Andrade y Du, 2005). Se ha evidenciado además que consideran que la rúbrica les permite comparar los avances de su trabajo con los objetivos esperados, lo que indicaría que esta contribuye a favorecer los procesos de autorreflexión frente a la tarea de escritura (Blanco, 2008; Reddy y Andrade, 2010).

Las rúbricas para evaluar la escritura han sido objeto de investigación. Algunas de las problemáticas que se han planteado en este campo son: la necesidad de la participación de los estudiantes en la elaboración de las rúbricas (Joseph et al, 2020), la relación entre rúbricas y desempeño escritural (De La Paz y Felton, 2010; Glaser y Brunstein, 2007; Kiuhara et al, 2012) y el desarrollo de estrategias que contribuyan a que los criterios y niveles que se indican en las rúbricas favorezcan tanto los procesos de planificación como de ejecución de la tarea y no solo su evaluación final (Sundeen, 2014).

En lo que respecta específicamente al impacto que tienen las rúbricas en los procesos de escritura, es importante anotar que estas no solo se usan con miras a propiciar procesos de evaluación y seguimiento durante la realización del escrito, sino que también se implementan como guías en las tareas relacionadas con la construcción de textos, en la medida en que brindan al estudiante información clara y detallada frente a la tarea que tiene entre manos (Andrade y Du, 2005; De la Peña Portero y Núñez Cortés, 2018; Hafner y Hafner, 2003). Los estudios orientados en este último sentido arrojan resultados favorables, en la medida en que se evidencia que las denominadas rúbricas de instrucción contribuyen a mejorar los procesos de planificación de la escritura (De la Peña Portero y Núñez Cortés, 2018), son fáciles de utilizar y explicar; permiten afinar las expectativas frente al desempeño en la tarea (Andrade, 2000; Butler y Winne, 1995), apoyan el aprendizaje y brindan a los estudiantes comentarios informativos sobre sus fortalezas y debilidades (Andrade, 2000).

En general, es posible evidenciar las ventajas del uso de rúbricas para favorecer los procesos de evaluación y revisión, por un lado, y de mejoramiento de la calidad escritural, por otro. Sin embargo, existe también evidencia de que el uso de la rúbrica por sí solo noes suficiente (Jonsson,2014; Wiggins, 1998). Se requiere indagar sobre acciones pedagógicas que favorezcan un proceso de monitoreo constante de la escritura durante la construcción del texto, hasta lograr el documento final. En este mismo sentido, resulta pertinente indagar por estrategias que favorezcan el desempeño escritural en los estudiantes universitarios que se forman como docentes, pues gran parte de los estudios revisados se centran en el marco de la educación básica y media, y son escasos los que trabajan de manera especifica con maestros en formación.

En esta perspectiva, cobran relevancia tres posibles preguntas cuyas respuestas están aún en construcción: ¿Cuál es el efecto del uso de rúbricas de autoevaluación y coevaluación sobre la calidad escritural? ¿Tienen las rúbricas de autoevaluación y coevaluación un efecto diferencial sobre el desempeño en escritura? ¿Cómo son percibidas estas estrategias entre los estudiantes? Intentaremos aportar respuestas a estas preguntas en lo que sigue.

Diseño

La investigación tiene un diseño cuasiexperimental de tipo mixto, en el que se acude a los procedimientos cuantitativos para verificar las diferencias inter- e intra-grupos y cualitativos para identificar las percepciones de los estudiantes frente a las estrategias de autoevaluación y coevaluación mediante rúbricas.

El estudio se realizó con tres grupos, cada uno de los cuales fue asignado aleatoriamente según las condiciones establecidas para el desarrollo de la investigación, de la siguiente manera: (1) grupo experimental 1, con implementación de autoevaluación y heteroevaluación orientada por rúbricas; (2) grupo experimental 2, con implementación de autoevaluación, heteroevaluación y coevaluación orientadas por rúbricas; (3) grupo de control con heteroevaluación, sin rúbrica. De acuerdo con esta distribución, el tipo de estrategias de evaluación formativa utilizada actúa como variable independiente y el desempeño escritural actúa como variable dependiente. Las percepciones de los estudiantes son información que se contrasta en el marco del análisis de datos, con miras a tener una visión más amplia de la estrategia aplicada desde una perspectiva pedagógica.

Muestra

El estudio se llevó a cabo con 75 estudiantes universitarios, inscritos en una asignatura de psicolin-güística, del currículo de formación de profesores de lenguas de una universidad pública de Bogotá, Colombia. Los participantes se distribuyeron en tres grupos (dos experimentales y uno de control). Un total de 54 estudiantes completaron todo el proceso. A todos los participantes se les explicó la naturaleza y el objetivo del estudio y se firmaron los consentimientos informados.

Instrumentos

Pretest de escritura. La consigna de la tarea fue: observar una videoconferencia TED, leer un texto expositivo, ambos sobre el tema de la adquisición del lenguaje, y elaborar en máximo 60 minutos un texto de reflexión sobre el tema en cuestión, con una extensión mínima de 500 palabras.

Para la evaluación de la prueba se diseñó una rúbrica con cuatro categorías de análisis: Profundidad y amplitud de los conocimientos, Calidad de pensamiento en la evidencia, Calidad de comunicación y Referencias y formato. Dos jueces expertos en escritura académica emplearon la misma rúbrica para evaluar la tarea de forma independiente. Para establecer el nivel de acuerdo entre los jueces evaluadores, se utilizó el coeficiente de correlación intraclase (CCI), que permite cuantificar la habilidad de las mediciones, asociadas a la variable cuantitativa de desempeño en escritura. El cci fue de 0,813 (p < 0,01), con límites de confianza entre 0,709 y 0,880, que indica una concordancia casi perfecta, con un intervalo de confianza moderado, que permite establecer que la concordancia es confiable.

Postest de escritura. La prueba final de escritura consistió en un artículo de revisión sobre el tema "Adquisición del lenguaje". Cada estudiante debía entregar una versión definitiva del artículo que había desarrollado a lo largo del curso, a partir de las herramientas de apoyo, la orientación del profesor, las autoevaluaciones y las coevaluaciones (según el caso). Para la evaluación de los artículos, se adaptó la rúbrica diseñada para el pretest de escritura; los ajustes se hicieron en función del tipo de texto, que en este caso era de carácter expositivo. Se mantuvieron las cinco categorías de la primera rúbrica.

Rúbricas de autoevaluación y coevaluación. Se diseñaron rúbricas de autoevaluación, coevaluación y heteroevaluación para cada una de las cuatro entregas (véase el procedimiento más adelante). Los criterios y niveles seleccionados para cada una de estas rúbricas fueron los mismos que para el pretest.

En lo que respecta a las rúbricas de coevaluación, se entregó a los estudiantes un formato con los criterios, niveles de evaluación y un espacio para las observaciones, asi como el trabajo correspondiente a uno de sus compañeros, de tal forma que este lo revisaba y diligenciaba la coevaluación.

Entrevista a estudiantes del grupo experimental 1. Se seleccionaron al azar seis participantes del grupo experimental 1, quienes tomaron parte en una entrevista semiestructurada para analizar su experiencia con el desarrollo de la tarea de escritura del artículo de revisión y el uso de las rúbricas de autoevaluación durante el proceso. Las preguntas que orientaron cada entrevista fueron:

¿Qué opina de escribir? ¿Le gusta o no?

¿Qué representó la tarea de escribir el artículo de revisión?

¿Qué opina de las rúbricas de autoevaluación?

¿Pensó en los criterios de evaluación durante la escritura?

¿Cómo podría mejorar la rúbrica de evaluación?

¿Esta herramienta le permite mejorar su escrito? ¿En qué aspectos?

Registro de sesiones de coevaluación. Se reunieron el autor del texto y el par evaluador para conversar sobre el proceso previo de coevaluación, allí los estudiantes tenían la oportunidad de recibir la retroalimentación de su compañero frente a la revisión del trabajo. Este ejercicio se realizó para las tres primeras fases del proceso de escritura del artículo de revisión. Se obtuvo el registro sonoro de estas interlocuciones.

Procedimiento de la intervención

El curso en el cual se realizó la intervención tuvo una duración de dieciséis semanas de clase, organizadas en sesiones de tres horas semanales y se desarrolló mediante encuentros sincrónicos en modalidad virtual. Durante el primer encuentro se llevaron a cabo la presentación del proyecto de investigación, una sesión de preguntas y respuestas con los participantes, la firma de los consentimientos informados y la aplicación del pretest.

La actividad de intervención fue un ejercicio de escritura consistente en la elaboración, paso a paso, de un artículo de revisión sobre un tema relevante al curso. Cada estudiante debía realizar cuatro entregas de este ejercicio, cada una con objetivos diferentes: (1) formulación de las ideas y revisión bibliográfica, (2) esquematización, (3) textualización y (4) revisión.

Los profesores de los tres grupos realizaron las revisiones y retroalimentaciones correspondientes para cada una de las entregas, mediante comentarios escritos y encuentros tutoriales con los estudiantes. El grupo experimental 1 respondió rúbricas de autoevaluación de cada uno de los documentos entregados y el grupo experimental 2 respondió rúbricas de autoevaluación y coevaluación. Cada una de las rúbricas se presentó y discutió con los estudiantes antes de la entrega de la tarea específica.

Para la coevaluación en el grupo experimental 2, se armaron parejas que intercambiaron sus trabajos. Cada estudiante realizó la evaluación del escrito de su compañero haciendo uso de las rúbricas. Como se mencionó, se llevaron a cabo sesiones de interacción entre los coevaluadores.

Como se indica también en el acápite de instrumentos, seis estudiantes del grupo experimental 1 respondieron una corta entrevista semiestructurada que indagaba sobre sus percepciones de la experiencia.

Nivel escritural inicial

Se analiza aquí si existen diferencias estadísticamente significativas en las puntuaciones medias de la prueba inicial de escritura en función de los grupos establecidos: control, grupo experimental 1 y grupo experimental 2.¹

Los resultados del ANOVA de una vía entre grupos señalan que existe una diferencia estadísticamente significativa entre los grupos, a favor del grupo control, con un tamaño del efecto pequeño F (2,72) = 2,50, p = 0,089). Las puntuaciones medias de la prueba inicial de escritura en función de los tres grupos se pueden observar en la tabla 1.

Nivel de escritura final

Para examinar las diferencias entre los grupos se realizaron pruebas ANOVA² de una vía. Los resultados del postest se presentan en la tabla 2. Como se observa, los niveles de desempeño en escritura aumentaron en comparación con los niveles de escritura inicial, presentados en el apartado anterior; hay mejora en todos los grupos (m = 38,89; d. t. = 5,929), sin diferencias significativas entre los tres grupos observados (F [0,393] = 0,30, p = 0,741).

Análisis comparativo intragrupo (Pruebas T de Student para muestras relacionadas)

Para poder establecer el efecto de la intervención en de cada uno de los grupos, se analizaron las diferencias de los resultados de los pretest y los postest intragrupo, mediante una prueba T de Student para muestras relacionadas. La gráfica 1 presenta las diferencias de medias entre pre- y postest de la variable de desempeño en escritura, según el grupo. En general, se observan mejoras en los tres grupos, con diferencias significativas en los tres casos.

Gráfica 1: Diferencia de inedias entre pre est y postest comparado entre los grupos. El asterisco (*) refleja las diferencias que resultaron estadísticamente significativas.

Tabla 3: Prueba T de Student para muestras relacionadas

Fuente: elaboración propia.

índice de mejora en escritura

Para examinar el progreso real que cada grupo tuvo en el desempeño en escritura se estableció el índice de mejora, que consistió en obtener el valor de la inedia de la diferencia entre los puntajes del postest y el pretest. Se empleó la T de Student para muestras independientes, que permitió establecer comparaciones entre los grupos. Se presentan los datos de la comparación entre el grupo control y el grupo experimental 1, donde se encuentran diferencias significativas (véase la tabla 4).

Tabla 4: Diferencia en el índice de mejora entre grupo control y experimental 1

Fuente: elaboración propia.

De acuerdo con la prueba T de Student, se observa una diferencia estadísticamente significativa en el índice de mejora, a favor del grupo experimental 1 (p = 0,058). En contraste, el índice de mejora no presenta diferencias entre el grupo control y el experimental 2 (p = 0,463) y entre ambos grupos experimentales (= 0,188).

Análisis de las percepciones de los estudiantes frente al proceso

El análisis de las entrevistas en el grupo experimental 1 y de los intercambios de coevaluación en el grupo experimental 2 se organizó en tres fases: reducción de datos, disposición y transformación de datos y obtención y verificación de conclusiones.

Para la reducción de datos se tomaron las transcripciones correspondientes a las entrevistas y los registros de las sesiones de coevaluación y se dividieron atendiendo al criterio conversacional, el cual consiste en segmentar el texto teniendo como referente cada uno de los turnos de habla de los participantes. Posteriormente, para la disposición y transformación de los datos, se elaboraron dos matrices categoriales, una para las entrevistas semiestructuradas del grupo experimental 1 y otra para el análisis de interacciones que se dieron entre los participantes como parte de la estrategia de coevaluación en el grupo experimental 2.

Por último, para la obtención y verificación de las conclusiones, se revisaron en detalle los datos, con miras a consolidar una descripción e interpretación que permitiera identificar las percepciones manifestadas por los estudiantes frente a los procesos de autoevaluación y coevaluación mediados por rúbricas y el aporte de estos al desempeño escritural.

Entrevistas a 6 estudiantes del grupo experimental 1

El análisis de las entrevistas realizadas a algunos participantes del grupo experimental 1, arrojó tres categorías relevantes. La primera está relacionada con la percepción acerca de la tarea escritural, la segunda con la forma como las rúbricas de autoevaluación impactan en la realización del escrito y la tercera con el momento del proceso en el que los estudiantes acuden a las rúbricas.

En cuanto a la primera, los estudiantes entrevistados afirman tener gusto por la escritura y contar con diversas experiencias en este campo: "Bueno, desde pequeña me ha gustado escribir" (S6³), "realmente me gusta escribir, lo hago desde muy pequeña porque se me da muy bien la escritura" (SI). Sin embargo, en lo que respecta a la tarea específica - escritura de un artículo de revisión- las percepciones están relacionadas con la dificultad que implica su elaboración; de hecho, tiende a nominarse como un desafío: "Entonces para mí ese fue el desafío más grande, encontrar información[...]" (SI) y las descripciones enfatizan en las fuertes implicaciones que trae consigo construir el escrito:

Entonces, cuando me tuve que enfrentar al artículo pues dije "no, me toca organizado" y tuve que volver a releer y editarlo muchas veces... me cuesta muchísimo, digamos la construcción de párrafos y de textos y más en el artículo donde tengo que relacionar elementos de diferentes autores, colocarlos en discusión. (S3)

Respecto de la segunda categoría, los estudiantes expresaron una percepción positiva de las rúbricas. Consideran que les permiten reflexionar acerca de su proceso escritural y tener claridad sobre las características del trabajo por realizar: "Sí, siento que fue más saber como el propósito que debería tener mi artículo y digamos qué cosas eran esenciales que se incluyeran" (S3).

Por último, los entrevistados manifiestan que las rúbricas se hacen relevantes en dos momentos: al inicio de la tarea, porque les permiten tener claridad sobre las características del escrito que deben realizar; y al final, para evaluar los alcances de su trabajo:

la miré en el principio para saber sobre qué se iba a evaluar. (S3)

Bueno, yo realmente tengo la costumbre de revisarlas cuando ya termine, como para ver si hacen match con mi artículo. (S4)

Percepción de los estudiantes participantes en ef proceso de co evaluación grupo experimental 2

Los datos recolectados en el proceso de coevaluación configuran dos categorías: 1) las percepciones con respecto a la realización del ejercicio de coevaluación, y 2) las percepciones acerca de cómo la coevaluación incide en el proceso escritural.

En cuanto a las percepciones que se tienen del proceso de coevaluación, se observa una reticencia inicial a evaluar al compañero, la cual va desapareciendo a medida que se avanza en el ejercicio de coevaluación. Es así como el primer ejercicio de coevaluación se caracterizó por la baja calidad y cantidad de los comentarios correspondientes a la retroalimentación. Los estudiantes se limitaron a ubicar los escritos de sus compañeros en un nivel específico de la rúbrica, pero hacían pocos comentarios acerca de las razones de dicha evaluación, "le puse bueno porque como mencioné anteriormente son pertinentes para un artículo de revisión" (S2, G7), "yo puse aceptable porque los objetivos pueden ser un poco confusos" (S2, Gl). En este mismo sentido, fueron escasas las estrategias sugeridas para mejorar el proceso escritural; solo hay ocho enunciados orientados en este sentido.

Sin embargo, a medida que se avanzó en el ejercicio de coevaluación se evidenció un mejoramiento tanto en la calidad como en la cantidad de los comentarios de retroalimentación, como se puede observar en el siguiente fragmento de la tercera ronda de coevaluaciones

Yo le puse excelente a mi compañera porque la pregunta de ella: cuáles son las fases que se presentan en el proceso de adquisición del lenguaje escrito en los niños y pues la información que ella buscó y colocó en la matriz de los 15 documentos, ella tenía la información correcta para responder esa pregunta habla de varios niveles alfabético silábico y otras cosas, pues por eso creo que sí se merece esa nota. (SI, G8)

Además de la argumentación, se empiezan a encontrar comentarios en los que los estudiantes hacen comparaciones de sus acciones y desempeños con los de sus compañeros frente al ejercicio escritural: "Releer la información antes de enviarla, es decir, que cuando se termine [de] escribir se vuelva a revisar lo que se escribió es una sugerencia para ella, pero para mí también aplica" (S2, G1).

En este mismo sentido, en las rondas 2 y 3 fueron aumentando considerablemente las retroalimentaciones orientadas a proponer estrategias para mejorar el desempeño escritural:

yo sentí que tal vez que ella también podría haber puesto, en alguna forma más explícita que si hay alguna similitud entre las teorías de unos con otros, pero solamente en la parte de análisis de resultados, es decir, poner a dialogar los autores, pero en términos de similitudes. (S2, G3)

Pues lo que yo generalmente hago en los párrafos [...] poner la tesis, después, los argumentos y la conclusión que tenga que ver con ese párrafo y la relación que tienen y en cuanto al resumen, creo que una buena forma de hacerlo es ver y leer los otros artículos de revisión, tomarlos como ejemplos. (S1,G2).

Se pasó de 8 enunciados en el primer ejercicio, a 46 en el segundo y 49 en el tercero.

Asimismo, pudo observarse que los estudiantes no solo comparten estrategias, sino que comentan las dificultades que han experimentado en los diferentes momentos del proceso escritural. Esto lo hacen para justificar los bajos desempeños en los que ubican los trabajos de sus compañeros, con relación a los criterios de la rúbrica, o para solidarizarse con ellos:

Por otro lado, a mí también me llevó mucho tiempo porque pues yo la había buscado así algo social y era el trabajo se debe hacer en el campo psicolingüístico y pues me tocó cambiar de artículos (S2,G1)

le hace falta ese ítem porque yo también la embarré desarrollando los otros. (Si, G2)

Con respecto a esta primera categoría, también se observó que los estudiantes consideran que el uso de la rúbrica facilita la coevaluación, en la medida en que brinda criterios claros acerca de las características del ejercicio de escritura, lo que contribuye a identificar tanto las fortalezas como las falencias de los trabajos evaluados:

Yo creo que el formato de la coevaluación permitió que fuera mucho más fácil y menos tedioso. (S2, G6)

rúbrica es una base para poder calificar el trabajo porque en general uno puede leer el trabajo, pero si no estuvieran esos criterios uno pasaría muchas cosas por alto. (S2, G2)

Cabe anotar, sin embargo, que esta percepción se fue construyendo gradualmente a lo largo de las tres rondas de coevaluaciones. Así, durante la primera, los estudiantes reportaron tener dificultades para seleccionar el nivel en el que se encontraba el trabajo de su compañero, en relación con cada uno de los factores: "Tuve un poco [de] conflictos al evaluar porque no sabía en qué criterio ubicar a mi compañero" (S2, G5). Esta situación cambió durante la segunda y tercera rondas, en las que manifestaron sentirse más seguros evaluando, puesto que ya contaban con la experiencia del ejercicio inicial:

Sí, pues más fácil calificar con esta rúbrica porque ya estaba la experiencia dela vez anterior y ya uno tiene la idea. (SI, G3)

Calificar siempre va a ser difícil, pero esta vez fue un poco más fácil porque uno ya tenía un bagaje (S2, G3)

En cuanto a la categoría de percepciones acerca de cómo la coevaluación incide en el proceso escritural, los estudiantes son claros en afirmar que la retroalimentación realizada por sus compañeros aporta de forma significativa en su proceso de escritura, como se puede observar en los siguientes comentarios:

A mí me pareció un ejercicio muy efectivo porque si bien la profesora nos hace correcciones no es lo mismo que recibir comentarios de alguien más porque el compañero está haciendo el mismo proceso y puede tener comentarios que a uno le pueden ayudar y me parece muy útil este ejercicio. (S1.G1)

Limitaciones del estudio

Una de las principales limitaciones del estudio es el tamaño de la muestra, que resulta relativamente pequeño para un examen más exhaustivo de los datos cuantitativos, si se quiere un estudio cuyas pretensiones sean de generalización. La misma naturaleza mixta del estudio y su inclusión de la mirada cualitativa no posibilita que los resultados acá descritos representen el común denominador de estudiantes universitarios en formación como escritores hábiles. Finalmente, se considera que la modalidad virtual de implementación del curso representa una limitación que restringe los resultados a este tipo de entornos. Por esta razón, es necesario formular investigaciones que a futuro validen esta propuesta, en entornos de aprendizaje presenciales y con muestras mayores a las de este estudio.