Recibido: 17 de agosto de 2019; Aceptado: 3 de febrero de 2020
Evaluación de la producción de textos académicos en un centro de escritura digital*
Assessing the Production of Academic Texts in a Digital Writing Center
Avaliação da produção de textos acadêmicos em um Centro de Escrita Digita
Resumen
En este estudio orientado al diseño e implementación de dos Centros de Escritura Digital (CED) en la Educación Media, la evaluación de la calidad de los textos escritos fue un componente clave como estrategia de acompañamiento al proceso de aprendizaje de los estudiantes y como criterio de validación sobre el funcionamiento de los CED. Este artículo producto de investigación se enfoca específicamente en presentar los resultados de la evaluación de la calidad de los textos producidos por los estudiantes en el marco de un estudio de caso intrínseco y colectivo. El instrumento utilizado fue una escala de evaluación de la calidad de la escritura académica. La muestra estuvo conformada por 23 textos, 19 de una institución educativa pública y 3 de una de carácter privado. Los resultados muestran: 1) que los doce indicadores utilizados permiten determinar la calidad escritural de un texto académico digital o analógico (alfa de Cronbach 0,822), y 2) que la escala es funcional en términos de la mediación didáctica en las actividades del CED (tutoría y talleres). En conclusión, los resultados permiten tomar decisiones frente a cómo mejorar los procesos de tutoría académica considerando los tipos de textos y los indicadores de calidad de la escritura; a su vez, la escala es una herramienta para la evaluación de las actividades de producción textual, de carácter diagnóstico, formativo, sumativo o autoevaluativo.
Palabras clave:
Centro de recursos didácticos, enseñanza secundaria, escritura, evaluación, tecnología de la información.Abstract
In the study oriented to the design and implementation of two Online Writing Centers (owc) in high education, the evaluation of the quality of written texts was a key component as a supporting strategy for the students' learning process and as a validation criterion on the operation of the owc. This research article focuses on the results of the evaluation of the quality of the texts produced by the students within the framework of an intrinsic and collective case study. The researchers used a scale to assess the quality of academic writing. The sample consisted of 23 texts, 19 from a public educational institution and 3 from a private one. The results show: 1) that the twelve indicators used allow to determine the scriptural quality of a digital or analog academic text (Cronbach's Alpha 0,822), and, 2) the scale is functional in terms of the didactic mediation in the activities of the owc (tutoring and workshops). In conclusion, the results allow decisions to be made regarding how to improve academic tutoring processes considering the types of texts and the indicators of writing quality. In turn, the scale is a tool for the evaluation of textual, diagnostic, formative, summative or self-assessment production activities.
Keywords:
teaching resources center, secondary education, writing, evaluation, information technology.Resumo
No estudo orientado ao desenho e implementação de dois Centros de Escrita Digital (DAC) no ensino médio, a avaliação da qualidade dos textos escritos foi um componente fundamental como estratégia de acompanhamento ao processo de aprendizagem do aluno e como critério de validação da operação dos CEDS. Este artigo de pesquisa enfoca-se especificamente a apresentação dos resultados da avaliação da qualidade dos textos produzidos pelos alunos no contexto de um estudo de caso intrínseco e coletivo. O instrumento utilizado foi uma escala de avaliação da qualidade da escrita acadêmica. A amostra foi composta por 23 textos, 19 de uma instituição pública de ensino e 3 de uma instituição privada. Os resultados mostram: a) que os doze indicadores utilizados permitem determinar a qualidade escriturística de um texto acadêmico digital ou analógico (alfa de Cronbach 0,822), eb) a escala é funcional em termos de mediação didática nas atividades do CED (tutoria e workshops). Em conclusão, os resultados permitem a tomada de decisões sobre como melhorar os processos de tutoria acadêmica considerando os tipos de textos e os indicadores de qualidade da escrita; por sua vez, a escala é uma ferramenta para a avaliação de atividades de produção textual, diagnóstica, formativa, somativa ou de autoavaliação.
Palavras-chave:
centro de recursos didáticos, ensino médio, redação, avaliação, tecnologia da informação.Introducción
Los problemas que tienen los estudiantes para producir textos según los requerimientos propios de los saberes son una preocupación compartida entre los profesores de la Educación Básica y Media de diferentes áreas curriculares. Las dificultades en la escritura repercuten negativamente en todas las áreas del conocimiento y en los diferentes niveles escolares. La enseñanza de la escritura no es un problema exclusivo del área del lenguaje o un grado escolar específico, también lo es de las diferentes áreas curriculares en las cuales se solicita a los estudiantes generar producciones escritas para evidenciar sus aprendizajes. Algunos profesores reconocen la importancia de la escritura en sus áreas, pero desconocen cómo orientar los procesos de planeación, producción y evaluación de los textos.
En el contexto colombiano, varias universidades han diseñado estrategias para suplir las deficiencias en lectura y escritura presentadas por los egresados de la educación media, mediante el diseño e implementación de cursos de nivelación, remediales o introductorios; talleres de lectura y escritura; inclusión en el plan de estudios de asignaturas en los primeros semestres sobre contenidos o competencias para la escritura en la educación superior. Otras universidades han implementado Centros de Escritura con servicios alternos de apoyo a la formación académica. Sin embargo, como afirman Pérez Rincón y Rincón Bonilla (2013) "en general, no hay políticas explícitas acerca de la lectura y la escritura académicas en las universidades colombianas" (p. 177). Igualmente, Fernández y Carlino (2010) aseveran que el contraste entre la Educación Media y la universidad genera grandes retos a los estudiantes que inician sus estudios profesionales, los cuales deben ser asumidos de manera efectiva por ellos, porque de lo contario podría repercutir en una deserción de su proceso formativo. Para ello, surgen propuestas como las de Rodríguez, Muñoz y Ángel (2015), relacionadas con la creación de estrategias institucionales que garanticen el fortalecimiento de la habilidad escritora en los estudiantes de educación secundaria y media, de manera que favorezca el ingreso y la permanencia de los estudiantes en la educación superior.
La evaluación de la calidad de la escritura académica en la escuela es un tema sin consenso, que ha sido abordado por autores de diferentes lugares y niveles educativos. De acuerdo con Morales Ardaya (2004), en el campo de la didáctica de la lengua y la evaluación de la escritura hay diversos métodos, instrumentos y perspectivas; cada profesor en su área evaluará desde las convenciones propias para la presentación y organización de los textos, atendiendo a esta y a otras circunstancias, efectuarán las adaptaciones didácticas que consideren convenientes a la realidad escolar. Incluir la escritura en las áreas del conocimiento requiere instrumentos que permitan el diagnóstico y el seguimiento de las producciones de los estudiantes en función del aprendizaje (Muñoz y Valenzuela, 2015).
Existen propuestas de evaluación que pueden ser aplicadas a una población numerosa y por un grupo de profesionales sobre el área, por ejemplo, las pruebas paramétricas de calidad de la educación (PISA) que implementan los gobiernos. En los últimos diez años se ha incrementado la aplicación de pruebas estandarizadas para evaluar la escritura con fines de calificación, selección, diagnóstico de los estudiantes, instituciones y políticas de gobierno (Perelman, 2018). En Latinoamérica, de acuerdo con Navarro, Ávila Reyes y Gómez Vera (2019), las pruebas de lectura siguen siendo mayores con respecto a las de escritura y su aplicación prevalece en los niveles de educación básica y media.
La propuesta de Morales Ardaya (2004) para la evaluación de la escritura está dirigida a profesores no especialistas en el área de la lengua. En ella, se reconocen como criterios de evaluación, además de los factores ortográficos, los asociados al concepto de redacción, es así como se incluyen la grafía, el vocabulario, la gramática, la cohesión y la estructura, como parte del proceso de revisión del texto y no de su calificación. Además, se deberá tener en cuenta el proceso y el producto en la producción textual, tanto de manera global como pormenorizada del texto, tanto en la escritura individual como colectiva.
La evaluación de la escritura no es un tema que corresponda a un grado escolar determinado, desde preescolar hasta la universidad los estudiantes se ven enfrentados a actividades evaluativas donde sus producciones textuales son el insumo. Sin embargo, los propósitos y estrategias son diferentes y responden a los niveles de adquisición del código alfabético del estudiante. Lo anterior implica que los profesores diseñen e implementen estrategias de evaluación de la escritura acordes con el grado escolar del estudiante y área de aprendizaje. Así, cuando se selecciona una estrategia de evaluación aplicada en otros entornos educativos para replicarla, el profesor debe revisar su pertinencia para el contexto educativo donde se va a utilizar. Si bien la evaluación de la competencia escritural estará enfocada desde las dimensiones lingüística y pragmática (Mendoza Moreira y Villegas Barreiro, 2017), resulta necesario establecer indicadores propios, ajustados al entorno comunicativo y las demandas curriculares.
La evaluación de la escritura se ha utilizado con el propósito de acreditar los aprendizajes dentro de un área (Castagno, Matarrozo, Piretro y Del Valle Rodríguez, 2016), lo que trae implicaciones para los estudiantes en cuanto a su acceso, promoción y mantenimiento en el sistema educativo. Un profesor de Ciencias Naturales podrá utilizar un informe de laboratorio para evaluar los conocimientos científicos de los estudiantes adquiridos durante la práctica; un profesor de Filosofía solicitará a sus estudiantes un ensayo sobre una temática, buscando evaluar su competencia argumentativa. En ambos ejemplos, el estudiante requiere no solo dominar los saberes específicos, las fortalezas o dificultades en la escritura académica estarán reflejadas en la producción escrita. Por ello, los profesores aplicarán diversas estrategias de evaluación de la escritura académica que sean coherentes con las prácticas de enseñanzas desarrolladas en el aula y la realidad escolar del estudiante.
Bazerman, Simon y Pieng (2014) señalan que, en la escritura en clave de calificación, hay menos interés por lo que dicen los estudiantes que por sus errores, esto significa que su voz no se escucha, solo es desviada, corregida y castigada; no se anima a los estudiantes a construir sus propias ideas, puntos de vista, a ampliar sus fronteras de pensamiento, solo se les pide escribir para un examen. Por ello, cuando se evalúa la escritura se considerará la producción del estudiante, destacando las ideas logradas, sus argumentos, conclusiones, creando posibilidades para que identifique sus aciertos y el porqué de sus desaciertos, de manera que posteriormente puedan ser aplicados o corregidos en otras producciones textuales, es decir, que se logre un aprendizaje significativo.
Cuando un estudiante produce un texto tiene en su mente un receptor. Considerar como único lector al profesor responderá a una inmediatez de una tarea, lo que afectará la calidad final del texto. Presentar a los estudiantes múltiples lectores, sus compañeros, otros profesores, estudiantes de otras instituciones, el mundo, implicará mayores niveles de conciencia de los procesos de producción del texto, y esta realidad se reflejará en la calidad escritural. El aprendizaje de la escritura requiere que el estudiante viva el proceso de planificación, textualización y revisión (Alonso-Cortés Fradejas, Llamazares Prieto y Alonso Sánchez, 2017).
Los resultados que aquí se exponen forman parte de un estudio más amplio, dirigido a fundamentar la dinámica pedagógica y didáctica de un Centro de Escritura Digital (CED) para el fortalecimiento de la producción de textos académicos en la educación media. De modo específico, se pretendió analizar la evaluación de la calidad de los textos escritos como un componente clave en la estrategia de acompañamiento al proceso de aprendizaje de los estudiantes y también como criterio de validación sobre el funcionamiento de los CED. Para efectos del presente artículo solo se presentan los resultados del texto como producto (figura 1), otros instrumentos permitieron obtener información sobre el proceso.
Metodología
Desde los postulados de Stake (2005) se aplicó un estudio de caso intrínseco y colectivo. Participaron dos instituciones educativas de la ciudad de Medellín, Colombia, que ofrecen educación media, una pública (caso 1) y otra privada (caso 2). Durante dos años las instituciones participaron en el proceso de diseño, implementación y seguimiento del Centro de Escritura Digital (CED). Estas instituciones se caracterizaron por contar con servicio de biblioteca escolar, una política institucional de fortalecimiento de las habilidades comunicativas en los estudiantes, soporte e infraestructura tecnológica para la incorporación de las tecnologías en la educación, experiencias previas de uso de las tecnologías de la información y la comunicación (TIC) para la enseñanza y el aprendizaje. Estos criterios eran necesarios porque se requerían unas condiciones mínimas de acceso y uso de las tecnologías digitales, además de que existiera una postura desde la administración sobre el valor de la escritura para el aprendizaje.
Un CED debe estar en diálogo con el modelo pedagógico institucional. La propuesta de los centros de escritura alrededor del mundo está orientada a un aprendizaje colaborativo, por lo tanto, cuando una institución educativa toma la decisión de operar un CED, su modelo pedagógico mantendrá una relación social y constructivista del aprendizaje, que favorezca la formación colaborativa y autónoma del estudiante. Pensar un CED dentro de una propuesta pedagógica que no considere al otro o donde la enseñanza de la lectura y la escritura sean un problema de las áreas del lenguaje, no tendrá una base sólida para su desarrollo y sostenibilidad. En el caso 1, el modelo pedagógico era "holístico transformador" y en su descripción se privilegia el aprendizaje colaborativo, el uso de las TIC para el aprendizaje, la investigación escolar y el desarrollo de las habilidades comunicativas. En el caso 2, la propuesta pedagógica era "desarrollista"; en sus postulados se destacan los ejes de mediación, aprendizaje significativo, investigación y liderazgo.
Para evaluar los textos escritos apoyados por TIC, producción acompañada por los tutores del CED, se diseñó una escala de evaluación, teniendo presente que, independientemente del tipo de texto que elaborara el estudiante, debía tener unas condiciones que reflejaran un proceso de producción, cuya calidad fuera apropiada para el nivel esperado de la educación media. Además, se debía adaptar a textos análogos y digitales. Messina, Cittadini y Pano (2017) plantean que es posible gestionar y evaluar las actividades de escritura desde los entornos virtuales.
Marín (2006); Figueroa y Aillon (2015); Bazerman, Little, Bethel, Chavkin, Fouquette y Garufis (2016) plantean que es posible hablar de escritura académica en la Educación Media, sin embargo, esta se encuentra más asociada a los aspectos generales de los géneros discursivos propios del nivel educativo. Partiendo de estos postulados, se decidió crear un instrumento que aportara a la comprensión de lo que Nesi y Gardner (2012) denominan "géneros de formación académica".
Van Dijk (1996) desde los aportes de la ciencia cognitiva planteó los niveles macroestructural y supraestructural del texto. El primero hace referencia al significado global del texto y el segundo a la disposición de sus partes; además, considera el microestructural, es decir, las relaciones semánticas entre las oraciones. Teniendo en cuenta lo anterior, para definir los indicadores de calidad se partió de estos niveles, además, se crearon dos indicadores que hacían referencia a los componentes formales de lengua, por lo que ello implica en la de adecuación del nivel microestructural en la producción de textos académicos en la educación media. La figura 1 muestra las relaciones de los indicadores.
La escala de evaluación se diseñó con cinco niveles de desempeño (véase la tabla 1), en respuesta a la escala de evaluación de los aprendizajes en las instituciones educativas de básica y media de Colombia (Superior, Alto, Básico, Bajo). El único nivel que no existe en la escala nacional es Muy bajo. Sin embargo, para la investigación era necesario incluirlo para identificar las diferencias entre los textos donde se presentan dificultades frente al indicador y aquellos casos donde no se presentaba lo propuesto en el indicador.
Fuente: elaboración propia
Niveles de desempeño
Desempeño
Orientaciones
Superior
Cuando el desarrollo del indicador se cumple de manera excelente dentro del texto.
Alto
Cuando el desarrollo del indicador se cumple dentro del texto.
Básico
Cuando el desarrollo del indicador se cumple parcialmente dentro del texto.
Bajo
Cuando el desarrollo del indicador presenta algunas dificultades dentro del texto.
Muy Bajo
Cuando el desarrollo del indicador no se cumple dentro del texto.
Los indicadores para evaluar la escritura académica apoyada desde el CED describen las condiciones mínimas de adecuación y calidad de un texto. Estos fueron:
-
El título, las ideas y/o elementos gráficos visuales de apertura expresan la temática principal del texto.
-
Existe unidad temática a lo largo del texto.
-
Se reconoce la superestructura del texto.
-
Las ideas principales de la temática están desarrolladas a lo largo del texto.
-
Los párrafos están escritos con claridad y coherencia a lo largo del texto.
-
El texto se cierra recordando los puntos centrales desarrollados.
-
Las oraciones, las imágenes, los enlaces y los gráficos se conectan entre sí de manera lógica.
-
Diversidad y amplitud del léxico y/o recursos gráficos visuales utilizados en el desarrollo del texto respetando el discurso propio del área.
-
Distinción entre el discurso propio y el ajeno. j. El texto es comprensible para el lector.
-
k. Se evidencia un uso adecuado de los aspectos formales de la lengua (ortografía, puntuación, gramática).
-
l. El texto referencia las citas, esquemas, imágenes y videos de otros autores.
Para lograr credibilidad en el proceso de aplicación del instrumento se solicitó a un experto en educación y didáctica de la escritura que revisara el instrumento para valorar la relevancia, pertinencia y claridad de cada indicador, y su posibilidad de evaluar la calidad de las producciones de los textos de los estudiantes de educación media. El experto consideró que el instrumento cumplía con los propósitos para los cuáles fue diseñado. Además, para minimizar las posibilidades del error, se acudió a una prueba piloto, en la cual el instrumento se utilizó para la revisión de cinco textos producidos por los estudiantes en el marco del CED, que no habían sido seleccionados para la evaluación por expertos. La aplicación la realizó uno de los tutores del CED de la i. E. pública, quien, al final, consideró que el instrumento no presentaba dificultades para evaluar los textos de los estudiantes.
El procedimiento de aplicación del instrumento comenzó con la sugerencia de los profesores/tutores de los textos que se podían evaluar. Para su selección, estos debían ser el resultado de un proceso de acompañamiento desde el CED, una producción terminada y su autor debía ser un estudiante de la educación media. Luego, se agruparon 19 textos del caso 1, y 3 del caso 2. Las tipologías seleccionadas fueron ensayo, resumen, reseña crítica y presentaciones, debido a que eran los textos para cuya producción los estudiantes pidieron mayor acompañamiento por parte del CED. El investigador se reunió con cada uno de los tres evaluadores externos (profesores de la educación básica, con maestría en Educación y experiencia en investigación sobre educación, escritura y TIC) para explicar el marco de la investigación y los propósitos del instrumento. Se diseñó un formulario en Google Drive con la evaluación. Por correo electrónico se enviaron a los evaluadores externos los textos y el enlace donde debían realizar la evaluación.
Para verificar la confiabilidad del instrumento se aplicó el alfa de Cronbach, debido a que se trata de medir unas cualidades de calidad no directamente observables en un grupo determinado, en ambos casos asociadas a la calidad de la escritura académica. El coeficiente de Cronbach toma valores entre 0 y 1, aunque también puede mostrar valores negativos (lo que indicaría que en la escala hay ítems que miden lo opuesto al resto). Según George y Mallery (1995), el alfa de Cronbach por debajo de 0,5 muestra un nivel de fiabilidad no aceptable; entre 0,5 y 0,6 se consideraría un nivel pobre; entre 0,6 y 0,7 se estaría ante uno débil; entre 0,7 y 0,8 un nivel aceptable; en el intervalo 0,8-0,9 se podría calificar como bueno, y un valor superior a 0,9 sería excelente.
Para identificar si los resultados de los casos 1 y 2 fueron evaluados bajo similares características se aplicó la prueba T2 de Hotelling. Este estadístico es una variable aleatoria, unidimensional, que se construye combinando información para la posición y dispersión de las variables del proceso aleatorio que se analizan. En este trabajo, se generaliza en forma simultánea los indicadores de los datos resultantes de la evaluación de la escritura académica de los expertos. Se utilizó la prueba T2 de Hotelling porque las muestras de los casos 1 y 2 son diferentes en cuanto a cantidad, población y textos. Los análisis univariados y multivariados realizados a la escala de calidad de la escritura académica se ejecutaron mediante el paquete estadístico SPSS.
Resultados y discusión
Validación de la escala como alternativa para valorar la calidad escritural de un texto académico
A la escala de evaluación de la escritura académica se le aplicó el alfa de Cronbach para los doce indicadores (véase la tabla 2). El valor alfa está por encima de 0,8; según George y Mallery (1995) la confiabilidad es buena. Esto indica que el instrumento mide de forma adecuada los indicadores que se pretendieron evaluar con facilidad y eficiencia. Lo que permite afirmar que el diseño del instrumento sí evaluaba la calidad de la escritura académica en la educación media.
Fuente: elaboración propia
Estadísticas de fiabilidad alfa de Cronbach
Alfa de Cronbach
Alfa de Cronbach basada en elementos estandarizados
N de elementos
0,822
0,836
12
Se procedió con la aplicación de la estadística total de cada indicador (véase la tabla 3), para identificar cuáles de ellos no eran necesarios para calificar la calidad de la escritura. Se reconoce que, si se suprimiera el indicador 9, referido a la distinción entre el discurso propio y el ajeno, el alfa de Cronbach aumentaría a 0,843. Sin embargo, no es significativo. Si se suprimiera alguno de los otros indicadores la confiabilidad del instrumento disminuiría. Lo anterior permite concluir que todos los indicadores utilizados en la escala forman parte importante de la estructura global del instrumento y aunque podría considerarse el indicador 9 como posible distorsionador del valor de la confiabilidad interna su impacto es mínimo.
Fuente: elaboración propia
Estadísticas de total de elemento
Media de escala si el elemento se ha suprimido
Varianza de escala si el elemento se ha suprimido
Correlación total de elementos corregida
Correlación multiple al cuadrado
Alfa de Cronbach si el elemento se ha suprimido
1.El título, las ideas y/o elementos grádicos visuales de apertura expresan la temática principal del texto
42,08
22,563
0,486
0,380
0,808
2.Existe unidad temática a lo largo del texto
42,29
21,777
0,531
0,487
0,804
3. Se reconoce la superestructura del texto.
42,53
21,976
0,515
0,322
0,805
4. Las ideas principales de la temática están desarrolladas a lo largo del texto.
42,35
23,738
0,587
0,502
0,808
5. Los párrafos están escritos con claridad y coherencia a lo largo del texto.
42,50
21,085
0,579
0,590
0,799
6. El texto se cierra recordando los puntos centrales desarrollados.
42,55
22,713
0,428
0,297
0,813
7. Las oraciones, imágenes, enlaces, gráficos se conectan entre sí de manera lógica.
42,42
20,740
0,646
0,585
0,793
8. Diversidad y amplitud del léxico y/o recursos gráficos visuales utilizados en el desarrollo del texto respetando el discurso propio del área.
42,65
20,907
0,716
0,633
0,788
9. Distinción entre el discurso propio y el ajeno.
43,41
24,738
0,095
0,391
0,843
10. El texto es comprensible para el lector.
42,39
20,950
0,620
0,631
0,795
11. Se evidencia un uso adecuado de los aspectos formales de la lengua (ortografía, puntuación, gramática).
42,89
23,173
0,560
0,487
0,806
12. El texto referencia las citas, los esquemas, las imágenes y los videos de otros autores.
43,94
23,996
0,189
0,331
0,835
Los resultados de la prueba de T² de Hotelling muestran un nivel de significancia de 0,000, lo que evidencia que las producciones escritas de los casos 1 y 2 tienen características similares, por lo tanto, ninguno de ellos está teniendo una mayor influencia sobre los resultados (véase la tabla 4). Esto es importante identificarlo debido a las diferencias en las muestras: en el caso 1 se evaluaron 19 textos, y en el caso 2, 3 textos, situación resultante de las decisiones administrativas de cada una de las instituciones en cuanto al uso del CED.
Fuente: elaboración propia.
Prueba de T cuadrado de Hotelling
T cuadrado de Hotelling
F
gl1
gl2
Sig
274,817
21,140
11
55
0,000
Se procedió con el análisis de contribución en la escala para identificar cuál de los niveles tuvo mayor incidencia en los resultados véase la tabla 5). Se evidencia que el nivel que obtuvo mayores calificaciones por parte de los expertos fue Alto, con un número de masa de 0,444. Por otra parte, el menor, que poco se consideró, fue Muy bajo, con un número de masa de 0,014. Esto concuerda con el número de indicadores que se ubicaron en nivel Alto. En síntesis, ninguno de los niveles tuvo mayor incidencia frente a los otros.
a. Normalización simétrica Fuente: elaboración propia.
Puntos de fila generales a
Escala
Masa
Puntuación en dimensión
Inercia
Contribución
1
2
Del punto en la inercia de dimensión
De la dimensión en la inercia del punto
1
2
1
2
Total
Muy bajo
0,014
3,600
-1,646
0,153
0,296
0,125
0,718
0,074
0,792
Bajo
0,043
1,185
0,102
0,078
0,099
0,001
0,469
0,002
0,471
Básico
0,246
0,921
0,137
0,137
0,343
0,015
0,928
0,010
0,938
Alto
0,444
-0,401
0,438
0,077
0,117
0,282
0,565
0,334
0,899
Superior
0,253
-0,591
-0,831
0,108
0,145
0,577
0,499
0,488
0,986
Total activo
1,000
0,553
1,000
1,000
En el caso de los indicadores de calidad se identificó que todos tuvieron igual número de masa (0,083), es decir que los tres expertos los evaluaron todos (véase la tabla 6). Sin embargo, se identifica que el indicador I12, "El texto referencia las citas, los esquemas, las imágenes y los videos de otros autores" fue el que mayor incidió en el promedio de la calidad de evaluación de la escritura académica. Es un aspecto necesario al momento de acompañar los procesos de producción de textos académicos en los estudiantes, desde el CED, debido a que el no cumplir con él incide en la calidad final del texto.
a. Normalización simétrica Fuente: elaboración propia
Puntos de columna generales a
Item
Masa
Puntuación en dimensión
Inercia
Contribución
1
2
Del punto en la iner- cia de dimensión
De la dimensión en la inercia del punto
1
2
1
2
Total
I1
0,083
-0,663
-0,982
0,047
0,060
0,266
0,476
0,518
0,994
I2
0,083
-0,482
-0,472
0,018
0,032
0,061
0,661
0,314
0,974
I3
0,083
-0,157
-0,031
0,005
0,003
0,000
0,231
0,005
0,235
I4
0,083
-0,720
0,622
0,050
0,071
0,107
0,523
0,193
0,716
I5
0,083
-0,190
-0,211
0,004
0,005
0,012
0,463
0,281
0,744
I6
0,083
-0,289
0,295
0,007
0,011
0,024
0,601
0,311
0,912
I7
0,083
-0,353
-0,201
0,008
0,017
0,011
0,752
0,120
0,873
I8
0,083
-0,034
0,241
0,007
0,000
0,016
0,008
0,205
0,214
I9
0,083
0,960
0,461
0,100
0,126
0,059
0,470
0,054
0,524
I10
0,083
-0,336
-0,341
0,009
0,015
0,032
0,642
0,327
0,969
I11
0,083
0,072
1,115
0,035
0,001
0,343
0,007
0,902
0,910
I12
0,083
2,193
-0,497
0,263
0,658
0,068
0,928
0,024
0,952
Total activo
1,000
0,553
1,000
1,000
Cuando se agrupan los datos de contribución y los niveles de calidad, se identifica que los indicadores asociados a la apertura del texto, unidad temática, construcción de oraciones y párrafos, superestructura y comprensión para el lector, tienden a desempeño Superior. Los indicadores sobre ideas principales, el cierre del texto, léxico y recursos gráficos, se encuentran cercanos al desempeño Alto. Lo anterior se podría explicar por su énfasis en las prácticas de enseñanza en la educación básica y media en las diferentes asignaturas del currículo escolar. Además, durante los procesos de tutoría académica en el Centro de Escritura, inicialmente se utilizan estrategias orientadas a la consolidación global del texto, es decir, que los estudiantes logren escribir lo que están pensando, como parte inicial del proceso de producción.
Por otra parte, los indicadores asociados a la distinción entre el discurso propio y ajeno, y el uso de los aspectos formales de la lengua, se encuentran en los niveles de desempeño Básico y Bajo. Y la aplicación de normas de citación se inclina a desempeño Muy bajo. Durante los procesos de tutoría académica se evidenció que, en ambas instituciones, se siguen desarrollando clases de los aspectos formales de la lengua desde las normas y ejemplos de listados del buen uso (enfoque gramatical/estructuralista), así que se requieren estrategias que aporten a la comprensión de los aspectos formales de la lengua desde situaciones comunicativas auténticas (enfoque semántico/comunicativo/discursivo). Durante las tutorías, esta diferenciación fue un aspecto relevante, superando el lugar de corrección hacia la autorrevisión, es el estudiante quien toma las decisiones finales sobre la mejora de su texto.
Respecto a las normas de citación, en ambas instituciones los estudiantes llegaban a los servicios con textos sin ninguna referencia bibliográfica, pero, a través del diálogo, se descubría que el texto había sido copiado en parte o en su totalidad de otro que se encontraba en la web. Por esta razón fue preciso comenzar a fortalecer los momentos de planeación y textualización correspondiente a los indicadores que se ubicaron en los desempeños Superior y Alto. Además, se concebía que era importante generar en el estudiante acciones que lo acercaran a los textos académicos, por ello este aspecto era uno de los que se abordaba en los últimos momentos del servicio. Al final, algunos de los textos solamente incluían la dirección web del sitio donde se tomó la información, y otros el nombre del autor, el título y la dirección web.
Finalmente, se aplicaron estadísticos de prueba para determinar si existía acuerdo entre los evaluadores (véase la tabla 7). En el indicador I6 "El texto se cierra recordando los puntos centrales desarrollados", el chi-cuadrado arrojó un nivel de significancia 0,035, lo que muestra que uno de los expertos mantuvo un leve desacuerdo en las calificaciones con respecto a los otros dos. Pero, la mayor diferencia se encontró en los indicadores I9 "Distinción entre el discurso propio y el ajeno", con una significancia 0,000; I10 "El texto es comprensible para el lector", con una significancia de 0,013, donde un evaluador se distanció de los otros dos. Sin embargo, en general se puede afirmar que sí existió acuerdo entre los evaluadores; esto reafirma que el instrumento cuenta con las condiciones para evaluar la calidad de la escritura académica en la educación media.
Fuente: elaboración propia
Estadísticos de prueba
I1
I2
I3
I4
I5
I6
I7
I8
I9
I10
I11
I12
N
66
66
66
66
66
66
66
66
66
66
66
66
Mediana
5,00
4,00
4,00
4,00
4,00
4,00
4,00
4,00
3,00
4,00
4,00
3,00
Chi-cuadrado
3,102
,148
,766
2,182
6,729
2,536
,181
24,981
8,628
6,286
gl
2
2
2
2
2
2
2
2
2
2
Sig.asintótica
0,212
0,929
0,682
0,336
0,035
0,281
0,913
0,000
0,013
0,043
Resultados de la calidad de los textos académicos producidos por estudiantes de educación media en un Centro de Escritura Digital
En cuanto los aspectos de calidad de los textos académicos se determinaron los promedios por indicador de los tres evaluadores, por institución y total (ver tabla 8), estos permiten identificar los indicadores de mayor desarrollo escritural y aquellos que requieren acciones de acompañamiento desde los servicios de tutoría. El concepto de escritura académica ha sido asociado a la educación superior, sin embargo, autores como Bazerman et al. (2016)proponen que es posible hablar de escritura académica en la educación básica y media, pero ello implica que los niveles de desarrollo y orientación son menores a la educación superior, y su función está en la proyección social y ser punto inicial para el acceso a los saberes de las disciplinas.
Fuente: elaboración propia.
Indicadores y promedio por caso
Total
Caso 1: i. E. Pública
Caso 2: I.E. Privada
1. El título, ideas y/o elementos gráficos visuales de apertura
4,5
4,5
4,2
2. Existe unidad temática a lo largo del texto
4,3
4,3
3,8
3. Se reconoce la superestructura del texto.
4,0
4,1
3,7
4. Las ideas principales de la temática están desarrolladas a lo largo del texto.
4,2
4,2
4,0
5. Los párrafos están escritos con claridad y coherencia a lo largo del texto.
4,0
4,1
3,7
6. El texto es cerrado recordando los puntos centrales desarrollados.
4,0
4,1
3,7
7. Las oraciones, imágenes, enlaces, gráficos se conectan entre sí de manera lógica.
4,1
4,1
4,1
8. Diversidad y amplitud del léxico y/o recursos gráficos visuales utilizados en el desarrollo del texto respetando el discurso propio del área.
3,9
3,8
4,2
9. Distinción entre el discurso propio y el ajeno.
3,1
3,1
3,1
10. El texto es comprensible para el lector.
4,2
4,2
4,1
11. Se evidencia un uso adecuado de los aspectos formales de la lengua (ortografía, puntuación, gramática).
3,7
3,6
3,7
12. El texto referencia las citas, los esquemas, las imágenes y los videos de otros autores.
2,6
2,6
2,9
En la tabla 8 se identifican las estrategias de apertura del texto obtuvieron los promedios más altos. El promedio de calidad más alta estuvo en el caso 1 con un 4,5; sin embargo, no se encuentra muy distante del caso 2, donde se obtuvo un 4,2. Lo que demuestra que durante el proceso de orientación de la producción los estudiantes comprendieron la importancia que tienen el título y la apertura del texto para captar y orientar al lector. Entre las estrategias que utilizaron los estudiantes para la apertura de los textos se encontró el uso de preguntas, relaciones entre la imagen y la temática a desarrollar, figuras retóricas y juegos de palabras. En el ensayo, el resumen y la reseña crítica los estudiantes optaron por títulos que reflejaran desde el comienzo su postura o que el lector se hiciera una primera imagen de la temática por desarrollar. En las presentaciones se destacaba el uso de diferentes tipos de letras e imágenes para que generara motivación durante la proyección. Desde el CED se hacía énfasis a los estudiantes sobre cómo la apertura de los textos es clave para cautivar a los lectores.
Con respecto a la unidad temática se identifica que en el caso 1 el indicador obtuvo un promedio de 4,3, y en el caso 2, de 3,8. Lo anterior se explica porque los textos de la i. E. privada presentaron dificultades en las transiciones entre los párrafos de las presentaciones enviadas, donde los estudiantes cambiaban de tópicos sin terminar su desarrollo. Para lograr unidad temática a lo largo del texto durante los procesos de acompañamiento desarrollados en el CED, se solicitaba a los estudiantes que reconocieran la idea principal del texto e identificaran si se desarrollaba a lo largo del mismo. Además, que contrastaran la apertura y el cierre del escrito. En el proceso se observó que las mayores dificultades se encontraron en las transiciones entre los párrafos en la producción del ensayo y las transiciones entre recursos multimodales en la escritura de presentaciones. Los centros de escritura deben abrir oportunidades para la orientación de producciones multimodales (Kirchhoff, 2013).
Durante la evaluación se buscó reconocer que las ideas principales abordaran algún aspecto del tema central y que estas fueran ampliadas o consolidadas, manteniendo coherencia con la apertura y el tipo de texto. En ambos casos, y en todos los tipos de textos, el promedio en este aspecto estuvo entre 4,0 y 4,7. No es posible señalar que exista una única forma de desarrollar las tutorías, es una situación que hace parte de la reflexión permanente de los tutores (Chois Lenis y Guerrero, 2015). Con el propósito de fortalecer los procesos de construcción y desarrollo de las ideas principales a lo largo del texto, desde el CED, durante los procesos de acompañamiento, se solicitaba al estudiante que, a partir de la idea global, relacionara las ideas principales y secundarias. Igualmente, que en el texto identificara las ideas principales y evaluara su aporte a la estructura global del escrito. Además, se orientaba al estudiante para que evaluara las relaciones lógicas entre las ideas principales y secundarias. Finalmente, se pedía que suprimiera las ideas centrales y reconociera si su ausencia afectaba la comprensión global del texto.
A nivel de la lógica oracional, para ambos casos, los niveles de desempeño obtuvieron un promedio de 4,1. En el caso 1, el uso de los recursos multimodales es un asunto que se viene trabajando en las áreas del currículo escolar, con énfasis en Lengua Castellana, Inglés y Tecnología e Informática. En el caso 2, los textos evaluados fueron el resumen y la reseña. Se identificaron aciertos en la estructura sintáctica de las oraciones simples y las compuestas coordinadas copulativas, pero faltó mayor nivel de apropiación de las compuestas subordinadas. Además, se buscaba identificar que los componentes gráficos, visuales y auditivos que los estudiantes utilizaran en sus producciones aportaran a la construcción de significado en el texto y no fueran solo estéticos En el caso 1, la escritura de presentaciones obtuvo un promedio de 3,7, lo que indica que algunos estudiantes no comprenden los límites entre producir y decorar un texto visual.
Para Area Moreira (2010), la alfabetización de los estudiantes ante los códigos textuales, icónicos, multimediales e hipertextuales debe ser una meta del sistema educativo desde la educación infantil hasta la superior. Desde el CED se promovió tanto la escritura analógica como la digital; no eran excluyentes, por el contrario, se consideraba que era una responsabilidad en su acompañamiento y fortalecimiento. Cuando un estudiante llegaba con un texto multimodal o con intenciones de incorporar recursos multimodales a sus producciones, los tutores lo orientaban para que superara la posición decorativa o novedosa del uso de los recursos digitales para la escritura. Se acompañaba para que seleccionara imágenes, audios o gráficos que aportaran a la construcción de significado y comprensión global del texto. Para Kirchhoff (2013), los centros de escritura deberían ayudar a los estudiantes con sus preocupaciones de alfabetización digital.
Durante los procesos de tutoría brindados, se promovía la adquisición de nuevo vocabulario que le aportara la comprensión de los discursos que circulan dentro de las áreas. Para ello, se orientaba a los estudiantes a que hicieran uso de diccionarios de la lengua y especializados, realizaran lecturas de los textos asignados por los profesores, y consultaran ejemplos de los textos que les asignaban. Los estudiantes que accedían a la biblioteca de recursos del CED encontraban diccionarios y páginas con juegos para aumentar el vocabulario.
En el dominio de la superestructura del texto se identificó que en el caso 1, el promedio del indicador fue de 4,1, y en el 2, de 3,7. En este indicador ninguno de los evaluadores calificó los textos en los niveles de Muy bajo y Bajo. Existe una tendencia a los desempeños Alto y Superior; sin embargo, todavía hay una oportunidad de mejora por parte de los estudiantes para que conozcan y apliquen la superestructura en sus producciones, lo que se identifica en ambos casos en los promedios obtenidos en el resumen (Caso 1: 3,5; Caso 2: 3,7). Calapsú y Rincones Marchena (2010) plantean que en el acompañamiento del tutor en un centro de escritura es importante identificar las fortalezas y falencias del escrito, para entender los elementos de una tipología específica. Para lograr unidad temática que respondiera a la superestructura en cada uno de los textos que se acompañaban en el CED, los tutores proponían a los estudiantes que construyeran un esquema que sirviera de guía en la textualización. Además, se les orientaba para que durante el proceso de revisión identificaran si el tema planteado se había desarrollado a lo largo del contenido, respetando la superestructura del tipo de texto y logrando conexión entre las ideas principales y las secundarias, y que en los últimos párrafos se mantuviera la coherencia inicial.
En la construcción de los párrafos se evidenció que hay diferentes niveles de apropiación según el tipo de texto. A los estudiantes se les dificultó la redacción según los requerimientos globales. Aunque conocían lo que es un párrafo y su importancia en la unidad temática de los textos, durante las tutorías los estudiantes evidenciaban dificultades en la estructura lógica y secuencial entre las oraciones que constituyen el párrafo. En el caso 1, la construcción de párrafos en la escritura de presentaciones obtuvo un promedio de 3,0, reflejado en la integración de recursos multimodales y en el desarrollo de párrafos sintéticos que en pocas líneas brindará información global al auditorio. Además, en el caso 1, los estudiantes presentaban errores de coherencia en la construcción de párrafos en el resumen, como se reflejaba en la desconexión de este con el discurso que se venía desarrollando o dejando una idea desarrollada parcialmente. El caso 2 obtuvo un promedio de 3,8 en la reseña crítica, y las dificultades se presentaron en la escritura de párrafos argumentativos; además, en los párrafos de cierre, las dificultades se presentaron debido a que los estudiantes solo relacionaban parte de las ideas desarrolladas o dejaban el texto con un cierre parcial.
En la biblioteca de recursos del CED, los estudiantes contaban con guías de escritura sobre diferentes tipos de párrafos y tutoriales sobre cómo escribir un párrafo. Se promovió la importancia de los párrafos como una unidad organizativa y lógica en la estructura del texto. Durante las tutorías se orientaba al estudiante para que escribiera los párrafos alrededor de un eje temático, y se lo animaba para que contara con las ideas suficientes para lograr una estructura comprensible, buscando brevedad, claridad, precisión y eficacia de las ideas. Durante los procesos de acompañamiento de la escritura académica en el CED, se orientaba a los estudiantes a que hicieran un buen cierre del texto, que respondiera a los propósitos iniciales. Dependiendo del tipo de texto se indicaba a los estudiantes cómo retomar la idea central, resumir brevemente los puntos claves, afirmar o refutar una idea lógica, reafirmar la tesis y plasmar una postura crítica.
Desde los primeros servicios y tutorías ofrecidas en los CED, se identificó que a los estudiantes se les dificultaba referenciar y asumían el copiar y pegar información como acciones válidas. Para superar esta postura por parte de los estudiantes, en la biblioteca de recursos de los CED los estudiantes encontraban unos enlaces que los dirigían a guías de aplicación de normas de citación. Además, durante los talleres y tutorías se reforzaba la importancia de respetar los derechos de autor y se les recordaba cómo hacer uso de las normas de citación. Sin embargo, se les motivaba a que leyeran diferentes textos, para identificar las fortalezas en otros discursos y tomaran decisiones para formar un propio estilo de escritura.
Para fortalecer los procesos de escritura académica comprendiendo que se escribía para otros, desde el CED se implementaban estrategias como la revisión por pares y las publicaciones de textos en foros de discusión para que fueran comentados por los compañeros de los talleres. Además, durante la tutoría académica se implementaban estrategias como preguntas sobre el texto, lectura en voz alta por el autor, autoevaluación del ejercicio de escritura. Se orientaba a los estudiantes para que pensaran quiénes serían su audiencia, cómo son, qué tipo de lenguaje usan y dónde leerían el texto.
Carlino (2003) asevera que escribir no es un proceso que incida automáticamente en el aprendizaje, para lograrlo, es necesario que el sujeto/ escritor parta del contexto, las nociones previas y las exigencias retóricas que ello implica. Desde los CED se consideraba que los aspectos formales de la lengua se fortalecían después de lograr que el estudiante plasmara su pensamiento en palabras, es decir, luego de tener un primer borrador. Estos aspectos se van aprendiendo con la práctica, la revisión es una oportunidad para reconocer los aciertos y errores de los aspectos formales de la lengua en las producciones propias. Como estrategias para mejorar este aspecto en las producciones, los estudiantes podían ingresar a la biblioteca de recursos del CED y encontraban enlaces que los llevaban a juegos de ortografía o ejemplos de uso de los aspectos formales, en eventos comunicativos auténticos. Además, durante las tutorías, el tutor leía en voz alta el texto del estudiante respetando la puntuación y ortografía, para que el estudiante identificara sus errores.
En el decimosegundo indicador "el texto referencia las citas, los esquemas, las imágenes y los videos de otros autores" tenía un propósito técnico, es decir, se buscaba reconocer si en los textos se hacía uso de las referencias de citación y bibliográficas. En ambos casos, se obtuvo un desempeño bajo (caso 1: 2,6; caso 2: 2,9); a pesar de que en los planes de áreas del grado décimo de ambas instituciones educativas aparece como núcleo temático las normas de citación y bibliográficas, los estudiantes solo las usan parcialmente. En investigaciones previas esta situación ya se había evidenciado, por ejemplo Tapia, Burdiles y Arancibia (2003) concluyen que en los textos evaluados que integraron la muestra se evidencia el uso de fragmentos de otros autores para crear textos autónomos sin las correspondientes referencias bibliográficas.
Marín (2006) propone que para que los estudiantes de básica y media desarrollen procesos de lectura crítica y escritura disciplinar es necesario que la escuela comience a temprana edad los procesos de alfabetización académica. Desde el CED se promovía el uso de normas de citación, además, se formaba en valores como la legalidad y se les explicaba a los estudiantes la importancia de respetar los derechos de autor. Los estudiantes encontraban recursos virtuales en el CED para aprender a citar; además, durante la tutoría se les acompañaba en la construcción de citas y bibliografía.
Conclusiones
Los tipos de texto seleccionados para la muestra son utilizados en diferentes áreas, por ejemplo, las reseñas críticas evaluadas formaban parte de compromisos académicos en las áreas de Filosofía y Ciencias Económicas; las presentaciones eran tareas escolares para las áreas de Tecnología e Informática, Ciencias Naturales y Lengua Castellana. Como se corroboró, los cuatro textos evaluados: las presentaciones, el resumen, el ensayo y la reseña crítica, son producciones académicas que circulan en la educación media, por lo tanto, requieren el acompañamiento y fortalecimiento por parte de los profesores de las diferentes áreas; esto concuerda con las afirmaciones de Toloza, Barletta y Moreno (2013) sobre la importancia del acompañamiento de la escritura por parte de los profesores en sus prácticas de aula.
Incluir la escritura en las áreas y asignaturas del currículo escolar requiere de instrumentos que permitan el diagnóstico, seguimiento y realimentación a los estudiantes de sus producciones textuales; esto concuerda con los postulados de Muñoz y Valenzuela (2015). La escala de evaluación de la escritura académica sirve de insumo para que los profesores de la educación media la apliquen en los procesos de evaluación de las actividades de escritura, ya sea diagnóstica, formativa, sumativa o autoevaluativa. La aplicación del instrumento le permitirá tomar decisiones frente a los indicadores que requieren mayor atención en la cualificación de la escritura académica dentro de su área. Lo anterior complementa la postura de González y Vega (2013) sobre la importancia de pensar y diseñar estrategias para el fortalecimiento de la lectura y la escritura que corresponda a las disciplinas.
Roldán Morales y Arenas Morales (2016) sostienen que es importante que los Centros de Escritura generen diálogos entre tutores sobre las estrategias que aplican y los resultados que obtienen. Utilizar una escala para evaluar la escritura académica apoyada por los CED fue un recurso valioso para lograr relaciones entre las estrategias desarrolladas por los tutores de los centros y su influencia en la calidad de las producciones de los estudiantes. Los resultados permiten tomar decisiones frente a cómo mejorar los procesos de tutoría académica considerando los tipos de textos y los indicadores de calidad de la escritura. Además, el instrumento se convierte en un insumo para los CED de manera que los tutores hagan seguimiento y evaluación de las producciones escriturales que se acompañan desde el CED.
El indicador "el texto referencia las citas, los esquemas, las imágenes y los videos de otros autores" fue el que más se alejó del nivel de calidad aceptable para la educación media. Los estudiantes de Educación Básica y Media han naturalizado acciones como el copiar información de otros textos para incorporarlos en los propios; por ejemplo, cuando se asignan consultas es suficiente el hecho de llevar la información transcrita, aunque se omita la referencia. Además, en los criterios de evaluación de las tareas de escritura pocos profesores exigen las fuentes de consulta. Lo anterior concuerda con investigaciones previas, como la de Tapia, Burdiles y Arancibia (2003), quienes concluyen que los estudiantes tienen dificultades de sistematización de la información e integración de fuentes. Este es un aspecto en el cual los CED tienen una responsabilidad en las instituciones educativas: promover el uso responsable y legal de la información.
Los cuatro textos evaluados mantuvieron promedios similares de calidad escritural. Esto concuerda con las conclusiones de la investigación de Molina Natera (2015), donde se argumenta que los textos orientados por el Centro de Escritura presentan una mejoría en el producto final. Sin embargo, el resumen obtuvo un promedio mayor frente a los otros, donde los mejores aspectos fueron la apertura del texto y la unidad temática. El resumen es un tipo de texto que se aborda desde la básica primaria, los estudiantes se encuentran familiarizados con él, pero en la calidad escritural se debe continuar en la mejora de la distinción entre el discurso propio y ajeno, el uso de los recursos formales de la lengua y las referencias bibliográficas.
Kellner (2004) afirma que, en la sociedad del conocimiento, la información no solo se presenta en forma de palabras impresas, también de imágenes, sonidos, videos y documentos multimediales. Es una fortaleza la manera como los estudiantes vienen incorporando recursos multimodales en sus producciones académicas. En los textos evaluados se encontraron uso de imágenes, audios, videos y enlaces, que aportaban a la construcción de significados en los textos. Se reafirma que en las presentaciones fueron donde más se usaron los recursos gráfico-visuales; sin embargo, en los resúmenes estos aportaron a crear enlaces de significación entre el texto nuevo y el original. Un CED debe responder no solo al acompañamiento de la escritura analógica, para incorporar también estrategias de orientación en el uso de los recursos multimodales en las producciones de los estudiantes hasta la orientación de la escritura digital