Caracterizar la innovación para validar la práctica educativa

Introducción

Asistimos, en primer lugar, a un enorme crecimiento y proliferación de iniciativas y experiencias innovadoras en el campo educativo con el eslogan de transformar y adaptar la escuela a las necesidades que plantea la sociedad del siglo xxi. De esto son muestras las propuestas impulsadas por organismos internacionales como la Unesco (2013, 2015, 2016) o la oecd (Organisation for Economic Co-operation and Development) (2012, 2015, 2019), que tienen en el movimiento internacional sobre los Entornos de Aprendizaje Innovadores (eia, por su sigla en inglés) una de sus principales apuestas. En segundo lugar, en esta misma dirección apuntan diversos consorcios internacionales, entre los que destacan los trabajos de World Innovation Summit for Education (wise, 2014, 2015), del New Media Consortium (Freeman et al., 2017) o del Instituto Tecnológico de Monterrey (Observatorio de Innovación Educativa, 2016; Sánchez-Mendiola y Escamilla de los Santos, 2018), con propuestas que, aunque desde ámbitos diferentes, convergen en un alto porcentaje. En tercer lugar, cabe mencionar las iniciativas privadas, llevadas a cabo por empresas como Google, Samsung, Telefónica (Hernando, 2015; Fundación Telefónica, 2016), la Caixa, la Fundación Ashoka, o editoriales como Independent Thinking, todas ellas interesadas en buscar su cuota de incidencia en el ámbito escolar.

En España, el impulso de la innovación educativa es también una realidad muy extendida en casi todas las comunidades autónomas, si bien en Cataluña se conocen un mayor número de escuelas que están protagonizando procesos de cambio (Martínez-Celorrio, 2016). En este sentido, destaca el Proyecto Horitzó 2020 que desde el 2014 impulsan los jesuitas (Aragay et al., 2016) y el movimiento Escola Nova 21, que ha llevado a cabo una transformación del sistema educativo, la cual ha aglutinado a más de 450 escuelas de enseñanza infantil, primaria y secundaria (Vallory, 2016).

Los principales motivos esgrimidos para justificar la necesidad de cambio hacen referencia a factores como el desarrollo de un enfoque competencial ante las necesidades que genera la economía mundial; la necesidad de aprender a convivir en contextos socialmente, culturalmente y lingüísticamente más diversos y complejos; la constatación de la disparidad entre los métodos de comunicación y de trabajo dentro de la escuela y fuera de esta; y la presión que ejercen las evaluaciones comparativas de los resultados de los estudiantes a escala internacional. Como sostiene Pedró (2018) , estos factores “explican en buena medida por qué hay un consenso social creciente, globalmente, en torno a la necesidad de promover la innovación que se traduce, de hecho, en un imperativo” (p. 77).

Respecto a la investigación sobre el tema, las revisiones existentes (Petersen et al., 2008; Islam y Grönlund, 2016; Ramírez Ramírez, 2020; Scalera et al., 2020) constatan la fuerte tendencia y actualidad de este. En términos generales, estas revisiones dan cuenta de las siguientes líneas de investigación: (a) el impacto de las tecnologías digitales en el aprendizaje de los estudiantes; (b) los obstáculos y retos en la implementación de la innovación educativa; (c) los agentes educativos en el proceso de innovación; (d) el vínculo de las organizaciones educativas con industrias o empresas, en particular con parques tecnológicos y otros espacios en los que se promueve el emprendimiento educativo y redes de colaboración universidad-empresas; (e) el vínculo de organizaciones educativas y centros de salud; y (f) el liderazgo, la innovación y las instituciones educativas.

Al mismo tiempo, estas líneas de investigación ponen de manifiesto la ausencia de consenso sobre el término innovación educativa o sobre los rasgos diferenciales que caracterizan las experiencias y prácticas innovadoras. Como sostiene Aguerrondo (2019) , se requiere reconocer que

No hay una definición clara y consensuada de qué es una innovación. Esto trae como consecuencia que los repertorios de innovaciones nacionales e internacionales no alcancen para orientar a quienes desean cambiar (...). No hay una producción académica suficiente que alcance para generar un discurso fuerte acerca de cuál es el nuevo “sentido” de la educación frente al cambio de era que estamos viviendo. No hay un replanteo teórico de este concepto hoy “estelar” que sirva para orientar las decisiones políticas en orden a favorecer cambios profundos en la oferta de aprendizaje. (p. 115)

En este contexto, ante la relevancia y la indeterminación existente, nos propusimos llevar a cabo una revisión bibliográfica exhaustiva y contrastada que nos permitiera darles respuesta a los siguientes objetivos:

• Identificar y establecer los indicadores que determinan, a nivel teórico, una innovación educativa.

• Validar estos indicadores por expertos reconocidos.

Con todo, la idea de formalizar y validar un decálogo no es nueva. La propuesta continúa la estela iniciada por otros autores (entre otros, Aramendi y Buján, 2012; Charteris et al., 2017; Ortega, 2011; Richmond y Tatto, 2016; Salinas, 2015; iaqse, 2019), si bien aporta una actualización de los indicadores ya que persigue, en último término, ofrecer respuesta a un doble interrogante: saber dónde y cómo se produce la innovación, así como recoger evidencias que permitan valorar su alcance.

En este sentido, el trabajo continúa indagando una línea de investigación que se inició en nuestro país con el “Estudio sobre la innovación educativa en España” (Marcelo et al., 2009), que supuso un punto de inflexión en el modo de analizar la innovación educativa en España, siendo el origen de diversos trabajos que analizan el desarrollo de los planes de innovación llevados a cabo por las administraciones educativas de distintas comunidades autónomas.

Metodología

La investigación se estructuró en dos etapas diferenciadas: (1) despuésde una revisión sistematizada, establecimos un decálogo de indicadores deinnovación; (2) sometimos a validación ese decálogo a partir de la valoración de reconocidos profesionales de nivel nacional e internacional.

En la primera etapa, se llevó a cabo un mapeo sistemático de la bibliografía (Tranfield et al., 2003; Kitchenham et al., 2010; Codina, 2018) que tuvo como finalidad la clasificación y conducción de un análisis temático para identificar tendencias en el objeto de investigación. De esta manera, obtuvimos un mapa de las diferentes categorías utilizadas en el tema, así como su presencia en el número de publicaciones encontradas mediante una búsqueda bibliográfica en profundidad. Desarrollamos esta revisión siguiendo las consideraciones y las fases de Codina (2018).

En la primera fase, el proceso de búsqueda se estructuró en un marco de rigor, sistematicidad y transparencia. Utilizamos las bases de datos académicas más representativas (Scopus y Web of Science), ambas relacionadas con la calidad y el prestigio de las publicaciones que contienen y la cobertura internacional que presentan. En cada una, mantuvimos criterios de búsqueda similares:

• Combinación de palabras claves: innovación educativa y educational innovation. Probamos otros criterios de búsqueda sin éxito.

• Las ecuaciones de búsqueda llevadas a cabo, utilizando las herramientas básicas de búsqueda sistematizada, propuestos por Codina (2018) fueron los siguientes: (a) palabras claves (innovación educativa, innovación escolar, mejora educativa, mejora escolar, éxito educativo, éxito escolar e indicadores de innovación); (b) operadores boleanos (or, and, not: tic, Educación Superior); (c) símbolos reservados (“”, ()).

• Área o campo científico: delimitamos el área a Ciencias Sociales y de la Educación.

• Tipología de documentos: acotamos artículos y tesis doctorales.

• Centramos la búsqueda en los últimos diez años (2012-2021), aunque hemos considerado publicaciones de autores referentes ampliamente citadas en este campo de investigación que sobrepasan este periodo, ya que se han establecido como obras y autores de referencia nacional e internacional.

• Criterios de exclusión: excluimos, además de los criterios correspondientes a los señalados con anterioridad, las publicaciones referentes a: tic y Educación Superior, después de comprobar la gran presencia de estos términos en las bases de datos y la escasa o nula relación con nuestros objetivos de la investigación.

Tabla 1: Proceso de filtración a través de las diferentes fases de mapeo sistematizado de literatura

En la segunda fase, continuamos con un ciclo de evaluación y, para esto, desarrollamos un sistema de selección y filtración de documentos de acuerdo con los siguientes criterios:

• Umbral de calidad: trabajos de investigación que respeten la estructura introducción, metodología, resultados y discusión.

• Trabajos con impacto nacional o internacional obviando estudios de pequeña escala o locales.

• Artículos de la disciplina social pero no ligados al ámbito educativo.

• Adecuación a los objetivos de investigación propuestos.

• Publicaciones duplicadas en ambas bases de datos.

Con base en esta filtración, redujimos los documentos a 87, a partir de la lectura del resumen y conclusiones para así seleccionar únicamente los artículos claves que, en su contenido, abordaban nuestro objeto de estudio. Posteriormente, realizamos una lectura de los títulos y resúmenes de las publicaciones con la finalidad de seleccionar solo aquellos que, en su contenido, abordaron nuestro objeto de estudio.

En una tercera fase, llevamos a cabo un análisis de la información recabada en una ficha acordada y consensuada previamente por las investigadoras en la que recogimos: citación apa del artículo, objeto de estudio, definición de innovación, indicadores que aparecen debidamente ubicados con la página, metodología de investigación y aportaciones interesantes o destacables.

La cuarta fase consiste en la síntesis. Como señala Codina (2018) , “una síntesis debe producir un producto nuevo como resultado de la unión en un todo de las partes analizadas” (p. 24). Este análisis dio como resultado un decálogo de los indicadores necesarios para poder considerar en propiedad una innovación educativa, el cual se recoge en la tabla 2.

Tabla 2: Decálogo de indicadores de innovación educativa

En la segunda etapa, llevamos a cabo una validación por jueces del decálogo elaborado. Entendemos esta validación como el juicio experto sobre la validez del contenido por personas con trayectorias destacadas en el tema (Escobar y Cuervo, 2008).

Muestra

Los 30 jueces que validaron el decálogo se seleccionaron por su dilatada trayectoria profesional vinculada al área de la innovación educativa, y pertenecen a tres colectivos: universitario, administración educativa y centro educativo. Se obtuvo así un muestreo intencional estratificado.

En cuanto a las características de la muestra, cabe señalar que la media de edad de los sujetos es 53 años, su experiencia en el ámbito educativo es diversa y se distribuye, por frecuencias, de la siguiente manera:

• Once personas entre 10 y 20 años de experiencia docente (36,66 %).

• Siete personas entre 20 y 30 años de experiencia docente (23,33 %).

• Doce personas entre 30 y 40 años de experiencia docente (40 %).

En la tabla 3 se describe el lugar de trabajo de los jueces y su categoría profesional.

Tabla 3: Ámbito y categoría profesional de la muestra

Instrumento

Para llevar a cabo el proceso de validación por los jueces, se elaboró una herramienta en línea que recogía datos personales de los participantes y la valoración de todos los puntos del decálogo mediante una escala Likert de 1 a 4 (en la que 1 es nada y 4 es mucho) que puntuaba cada ítem en función de la Congruencia, Pertinencia y Claridad.

Se entiende congruencia como coherencia y relación lógica del indicador en su conjunto y en relación con el concepto; pertinencia en cuanto al objetivo del estudio, es decir, del indicador que define del concepto de innovación; y claridad, referida a la confusión que crea en sí el indicador valorado.

Además, esta herramienta incluía un espacio abierto destinado a la recogida de observaciones, propuestas, comentarios, puntualizaciones sobre la redacción del indicador u otras cuestiones.

Estrategia de análisis

Con el objetivo de analizar el grado de consenso entre expertos respecto a una serie de categorías de naturaleza nominal, se utilizaron tres indicadores diferentes, aunque complementarios: (1) tablas de frecuencias de las preguntas, cuya finalidad reposa en la observación de las distribuciones y categorías con mayor porcentaje de respuestas; (2) porcentaje of overall agreement (% consenso general), calculado respecto a cada categoría (indicador de la innovación educativa) en función de su congruencia, pertinencia y claridad; (3) free-marginal multirater Kappa (siguiendo el mismo procedimiento que para el % of overall agreement), calculado como medida de la fuerza de la concordancia entre los diferentes expertos.

Para realizar las interpretaciones del índice de Kappa, nos basamos en los aportes de Fleiss (1981) y Altam (1991).

Tabla 4: Interpretaciones del índice de Kappa

Nota: adaptado de Sureda et al. (2020) .

Atendiendo a esta clasificación, se consideraron categorías con un consenso aceptable aquellos que presentaban un índice de Kappa de Fleiss superior a 0,40, lo cual coincide con las categorías regular de Fleis (1981) y moderado de Altman (1991) (Sureda et al., 2020).

Resultados

Los resultados se presentan de acuerdo con los diez indicadores del decálogo junto al grado de Congruencia, Pertinencia y Claridad analizado, de acuerdo con la estrategia de análisis indicada.

Análisis indicador Novedad

Tabla 5: Resultados indicador Novedad

Nota: *95 % ci para Free-Marginal Kappa.

Respecto al indicador de Novedad existe un acuerdo general (50,34 %) entre jueces tanto en Congruencia (56,78 %), como en Pertinencia (56,78 %) y Claridad (37,47 %); y una fuerza de Concordancia moderada (K = 0,34) entre ítems y moderada de manera individual en cada ítem, exceptuando Claridad (K = 0,17). Aun así, cabe destacar las matizaciones que hacen los jueces y que aportan complementariedad al término:

La importancia es que sea una novedad para el centro a la hora de dar respuesta a sus necesidades, una metodología que no se haya llevado a término en ese centro, o que sea una evolución, pero puede que no sea en absoluto una novedad en el mundo docente. Por ejemplo, proyectos de plurilingüismo, trabajo por ámbitos, programación multinivel.

O bien cuando se señala que “no todo lo nuevo es innovador”, afirmación con la que estamos totalmente de acuerdo y que explican los indicadores antes desarrollados.

Análisis indicador Intencionalidad

Tabla 6: Resultados indicador Intencionalidad

Nota: *95 % ci para Free-Marginal Kappa.

El grado consenso total de los jueces en el ítem Intencionalidad es medio (39,62 %), en línea con los valores de cada uno de los ítems. El indicador Intencionalidad presenta una concordancia débil o pobre (Kappa de Altman < 0,20), sostenido este valor por los aportes de los participantes que nos ayudan a afinar y reflexionar sobre cada uno de los indicadores del decálogo; en este caso apuntan que

no siempre la intencionalidad previa es un factor clave del cambio, a veces ésta se va descubriendo a medida que se aprende. El hecho de que compartan objetivos no quiere decir que durante el proceso no se vayan ampliando y enriqueciendo.

Análisis indicador Contextualización

Tabla 7: Resultados indicador Contextualización

Nota: *95 % ci para Free-Marginal Kappa.

En este caso, el porcentaje general de consenso entre los jueces en los tres ámbitos valorados es 51,88 % (Congruencia 56,78 %, Pertinencia 56,78 % y Claridad 42,07 %). La concordancia es moderada en todos los ítems, y se obtiene el valor más bajo en Claridad (K = 23); los aportes realizados en la pregunta abierta son generales, y apuntan a la necesidad de que las innovaciones vayan más allá de las modas pedagógicamente establecidas y huyan de la descontextualización, asegurando, de cada uno de los cambios que incorporamos en los centros, que responde a las necesidades, a los recursos y circunstancias del centro en cuestión.

Análisis indicador Aprendizaje significativo

Tabla 8: Resultados indicador Aprendizaje significativo

Nota: *95 % ci para Free-Marginal Kappa.

Basados los resultados obtenidos, consideramos un consenso medio (44,52 %) en el indicador Aprendizaje significativo. El valor de Free-Marginal Kappa es moderado (Kappa de Altman 0,20-0,41). Cabe considerar los aportes realizados en el apartado de pregunta abierta, porque son de gran valor. Por un lado, se apunta a la necesidad de compartir significados en la comunidad educativa; y, por otro, se recoge la idea de que este aprendizaje significativo sea también en los alumnos, y, por tanto, se pone el acento en el impacto de la innovación educativa incorporada.

Análisis indicador Planificación y documentación

Tabla 9: Resultados indicador Planificación y documentación

Nota: *95 % ci para Free-Marginal Kappa.

Existe un mayor grado de acuerdo en cuanto a la Planificación y documentación como indicador de innovación (61,99 %), y se obtuvieron valores muy similares en cada uno de los ítems Congruencia, Pertinencia y Claridad. Lo mismo ocurre con el valor Kappa, que demuestra una concordancia alta (K = 0,49) entre ítems, y, también, de manera individual en cada uno de estos. Con base en los aportes del apartado cualitativo utilizado por los sujetos de la muestra, sería interesante incorporar en la documentación cuál ha sido la trayectoria del centro hasta el momento, pues las decisiones tomadas o las acciones llevadas a cabo con anterioridad, seguro, se reflejan en el actual proceso de innovación en el centro educativo.

Análisis indicador Evaluación

Tabla 10: Resultados indicador Evaluación

Nota: *95 % ci para Free-Marginal Kappa.

En este indicador existe un grado de consenso total medio (44,52 %) entre jueces y un valor de concordancia total moderado (K = 0,26), tal como ocurre en cada uno de los ítems de manera individual. En este caso, los comentarios cualitativos son, como siempre, muy valiosos, pero más numerosos, aunque todos ellos en la misma línea de diversificar momentos, instrumentos y criterios de evaluación:

Sería interesante incorporar en la definición la necesidad de consensuar con el equipo docente los indicadores y criterios de la evaluación.

Se deberían incorporar mecanismos de coevaluación, de observación y de contraste del trabajo docente dentro del aula por parte de expertos.

Se podría diversificar la evaluación en distintos momentos del proceso.

Análisis indicador Optimización

Tabla 11: Resultados indicador Optimización

Nota: *95 % ci para Free-Marginal Kappa.

La validación de este indicador por los jueces participantes es media (47,28 % de acuerdo total entre índices); y la fuerza de la concordancia asignada es moderada (K = 0,30). Además, se incorporaron en el apartado de sugerencias algunas puntualizaciones que son de gran valor para la comprensión de los valores resultantes, como la siguiente, y a partir de la cual podríamos completar el significado del indicador: “Entiendo que debe incluirse la mejora del aprendizaje/desarrollo profesional de quién diseña y desarrolla la innovación”.

Análisis indicador Sostenibilidad

Tabla 12: Resultados indicador Sostenibilidad

Nota: *95 % ci para Free-Marginal Kappa.

Este es el ítem con porcentaje de consenso total más alto (75,17 %) y una fuerza de concordancia total muy buena entre jueces (K = 0,67), lo mismo que ocurre en cada uno de los ítems (Consenso = 75,17 % y K = 0,67). A su vez, se reforzó por los comentarios aportados por los sujetos participantes “Es vital que se asuma la sostenibilidad en el centro” y “Es más difícil sostener que construir”, lo cual ratifica la importancia del ítem a la vez que se asume la dificultad de este en el seno de los centros educativos.

Análisis indicador Comunicación y colaboración

Tabla 13: Resultados indicador Comunicación y colaboración

Nota: *95 % ci para Free-Marginal Kappa.

Existe, de manera coherente con lo ocurrido con anterioridad, consenso general (64,75 %) en este indicador y una fuerza de concordancia alta o buena (K = 0,53), y se obtienen valores muy similares en cada uno de los ítems analizados (Congruencia 65,06 % y K = 0,53; Pertinencia 65,06 % y K = 0,53; Claridad 64,14 % y K = 0,52); La comunicación y la colaboración entre el equipo docente es una de las claves del éxito de las innovaciones educativas. Uno de los aportes de los jueces apunta que

puede haber innovaciones particulares y reducidas a un grupo o profesionales concretos y estamos de acuerdo con ello, pero es interesante defender la idea de que la innovación debe ser generalizada al máximo en un centro educativo y establecer así la línea de centro como uno de los pilares del mismo.

Análisis indicador Liderazgo pedagógico

Tabla 14: Resultados indicador liderazgo pedagógico

Nota: *95 % ci para Free-Marginal Kappa.

El Liderazgo pedagógico se considera por los jueces con alto porcentaje de acuerdo con el indicador Innovación educativa (64,75 % de acuerdo general total y fuerza de concordancia alta K = 0,53), obteniendo resultados coherentes en los ítems valorados: Congruencia 65,06% y K = 0,53; Pertinencia 65,06 % y K = 0,53; Claridad 64,14 % y K = 0,52. Los participantes puntualizan que este liderazgo, además de ser pedagógico, debe distribuirse, apunte con el que estamos totalmente de acuerdo.

Conclusiones

Las principales conclusiones de nuestro estudio son tres:

1. La revisión sistematizada nos ofrece un panel de diez indicadores como rasgos básicos que caracterizan una innovación educativa: Novedad, Intencionalidad, Contextualización, Aprendizaje significativo, Planificación y documentación, Evaluación, Valor añadido, Sostenibilidad, Comunicación y colaboración y Liderazgo pedagógico.

2. Los porcentajes de acuerdo entre los jueces participantes del estudio se sitúan entre el 39 % en el caso en el que existe menos acuerdo (Intencionalidad) y el 75 % en el indicador donde hay un valor de acuerdo más alto (Sostenibilidad). Estos valores ponen de manifiesto la existencia de un nivel de consenso aceptable entre los participantes, en el estudio sobre el panel de indicadores propuesto.

3. De forma global, los resultados del estudio señalan que la fuerza de concordancia entre los jueces en las cuestiones analizadas resultó muy buena en relación con la Sostenibilidad, media en cinco de los indicadores (Novedad, Contextualización, Aprendizaje significativo, Evaluación y Optimización), buena en tres (Planificación y Documentación, Comunicación y colaboración, Liderazgo pedagógico), y débil en solo uno de ellos (Intencionalidad).

A diferencia de los estudios precedentes, nuestra propuesta cuenta con dos características propias: (1) surge de una revisión sistematizada y se ha sometido a la validación de expertos. En este sentido, pensamos que el decálogo ayuda a aclarar el panorama y ofrece una primera propuesta para poder determinar dónde y cómo se produce la innovación, lo que puede resultar de gran ayuda a los profesionales y a los centros educativos, conformando así la línea de continuidad del estudio en la que estamos trabajando; (2) incluye indicadores como Evaluación, Sostenibilidad, Liderazgo pedagógico o Valor añadido, lo cual supone reivindicar rasgos más acordes con los nuevos escenarios educativos. Como apuntan diversos estudios (Coburn et al., 2016; Carrier, 2017; Pedró, 2018; oecd, 2019; Escudero, 2019), la innovación educativa debe utilizar la evaluación y la sostenibilidad como un medio para demostrar su bondad: “La innovación no vale solo por lo que se pretende y hace, sino también por lo que con ella se logra o no” (Escudero, 2019, p. 158). Así también lo ratifican Sánchez-Mendiola et al., Escamilla de los Santos y Sánchez Saldaña (2018) : “Si no realizamos una evaluación amplia y profesional de las innovaciones que deseamos implementar, es difícil soportar el argumento de que la innovación es mejor que el statu quo” (p. 37). Una apuesta similar hace, en el contexto latinoamericano, el Instituto Tecnológico de Monterrey al desarrollar la iscalaEscala i, un instrumento de evaluación, con evidencia de validez, para determinar la calidad de los proyectos de innovación educativa (López Cruz y Heredia Escorza, 2017).

El estudio adolece de dos claras limitaciones. Por una parte, podría contar con la validación de otros jueces, especialmente procedentes de los centros educativos; por otra, podría contrastarse con el uso de otras técnicas (entrevistas o grupos de discusión) de recogida de datos. Ambas limitaciones marcan el camino que debe seguirse en investigaciones futuras.

Con todo, los resultados del presente trabajo pueden ser útiles a la hora de promover procesos de validación de las experiencias, así como a la hora de impulsar acciones de evaluación de estas, lo cual permitiría tener una idea más clara de cuáles son las tendencias globales de cambio, facilitando su estudio y difusión. Finalmente, como prospectiva, el estudio pudiera trascender hacia el diseño y validación de un instrumento que ayude a caracterizar la innovación educativa, con base en la definición de criterios concretos para cada indicador.