Valor agregado en la educación superior colombiana: una revisión de la contribución de los programas y las instituciones a la calidad educativa

Introducción

La educación superior colombiana enfrenta retos de diversa naturaleza. Recientemente se ha puesto en evidencia por parte del Ministerio de Educación Nacional la reducción de la matrícula en este nivel de formación, con cerca de 37 000 estudiantes menos entre 2020 y 2021, lo que se atribuye al cambio demográfico (Meisel y Granger, 2022), a variaciones en los intereses de la población joven (Zerpa y Rodríguez-Montoya, 2024) y a la falta de oportunidades en los mercados de trabajo (Rincón y Espitia, 2022). Tras la pandemia, en 2023, las cifras de cobertura se recuperaron y se alcanzaron niveles similares a los que tenía el país en 2017 (cuando la matrícula fue de 2 280 327 y en 2023, 2 259 970). Aunque la cobertura de la educación superior en el país es importante, hay otras dos problemáticas que son de atención urgente, pues se asocian con la movilidad social y la reducción de brechas de desigualdad: la calidad y la equidad en las instituciones de educación superior.

Como lo advierte Tam en su revisión, la medición de la calidad en la educación no es una tarea sencilla, pues, aunque hay claros indicios de determinantes individuales, del hogar e institucionales, que favorecen las mejoras en calidad, en ocasiones resulta difícil determinar de manera precisa las causas del buen rendimiento de los alumnos. Los estudios sobre el valor agregado aportan en esa dirección, pues permiten examinar cómo un entorno institucional específico contribuye a mejorar el logro académico de un estudiante, al observar su trayectoria desde una evaluación de entrada, hasta una evaluación posterior.

El valor agregado en el contexto educativo corresponde a la variación en el logro de los estudiantes, entendido como el crecimiento en conocimiento, habilidades, capacidades y otros atributos, que ellos han ganado como resultado de sus experiencias en un sistema educativo en el tiempo (OCDE, 2008). Estas mediciones comportan retos, pues, como advierten Perna y Thomas , la evaluación del éxito de los estudiantes debe contextualizarse en múltiples capas que incluyan el contexto interno de los estudiantes, el familiar, el de la escuela y el social, económico y político. Rodríguez-Revilla , por su parte, afirma que el valor agregado es “la contribución de las instituciones educativas o los profesores al progreso académico neto de los estudiantes, una vez eliminada la influencia de otros factores ajenos a la institución” (p. 45).

La medición del progreso académico neto implica debates metodológicos, toda vez que si se quiere capturar el aporte institucional en la formación de un estudiante, es preciso aislar el efecto de otros factores fuera del control de la escuela (Duarte et al., 2016). Además de los retos metodológicos, el estudio del valor agregado es importante para identificar los diferenciales de calidad entre instituciones educativas, pues sus resultados pueden convertirse en una parte importante en la construcción de reputación, que eleve la matrícula, y en una fuente para focalizar el otorgamiento de recursos públicos (Liu et al., 2012).

Son numerosos los estudios realizados sobre la medición del valor agregado. Algunas aproximaciones se centran en medir la diferencia neta entre los niveles de entrada y de salida de los estudiantes en un programa académico. En este grupo de estudios, se inscribe el realizado por Campos et al. , quienes se centran en la competencia de lectura crítica y cuantifican la diferencia entre la prueba de ingreso a la universidad y la prueba Saber Pro. Por su parte, el trabajo de Ramírez da cuenta de la importancia de la trayectoria académica previa para predecir el buen rendimiento académico; así, un buen desempeño en la prueba Saber 11, por lo general, se convierte en un buen predictor del desempeño en la prueba Saber Pro.

En esta misma línea, Owusu y Larbi adoptan un enfoque constructivista y comparan el rendimiento promedio ponderado acumulado al inicio y final del proceso de formación de un grupo de 127 estudiantes de Ingeniería de Telecomunicaciones. Los autores concluyen que el nivel de entrada de los estudiantes es un predictor de su desempeño al final de su formación, lo que supone que la selección de los mejores estudiantes otorga ventajas en el rendimiento a lo largo de los procesos de formación.

Aunque los trabajos que se centran en la medición de la diferencia entre niveles de entrada y salida verifican la existencia de variaciones en el rendimiento como producto del proceso de formación, no logran demostrar qué proporción de estas variaciones se debe a las instituciones educativas, es decir, producen mediciones sesgadas, pues no corrigen por sesgo de selección, al no introducir controles de otros factores diferentes a la institución.

En términos generales, el sesgo de selección se produce cuando se utilizan procedimientos inadecuados en la selección de la muestra, lo que lleva a que el grupo seleccionado no sea un reflejo exacto de la población (Alexander et al., 2015). En ciencias sociales, el problema puede surgir por reglas de selección distorsionantes y problemas de autoselección de los participantes .

En el caso de la educación superior, se presenta el problema de la autoselección, pues los estudiantes eligen una universidad basados en la reputación de la institución, en su capacidad de pago y en sus calidades académicas, hecho que hace más probable que las universidades agrupen estudiantes con características comunes y que no sea posible obtener una muestra aleatoria representativa de toda la población en cada universidad. En palabras de Rodríguez y López : “estudiantes con un desempeño académico notable en su educación básica y media tienen una alta probabilidad de continuar con un elevado rendimiento en niveles superiores independientemente de la institución a la que asisten” (p. 120).

La literatura sobre valor agregado, en su mayoría, parte de la necesidad de corregir el sesgo de selección y, por tanto, suele tener aproximaciones a partir del método de regresión lineal jerárquica con variables instrumentales, propuesto por (Manzi et al., 2013). Usualmente, los estudios utilizan métodos econométricos de regresiones jerárquicas, en los que se compara la variación entre el rendimiento promedio de los estudiantes en áreas como lectura crítica, razonamiento cuantitativo, entre otras (Monroy et al., 2018).

Rodríguez-Revilla propuso una evaluación de la calidad del sistema educativo para la educación superior en Bogotá, a partir del uso de modelos lineales jerárquicos con variables instrumentales, en los que se controla por características familiares, sociales y económicas y algunas institucionales, con el fin de reducir el sesgo de selección. El trabajo logra identificar que el 71 % del desempeño académico de los estudiantes se explica por las universidades, hecho que justifica la realización de diagnósticos permanentes sobre valor agregado, pues, en este caso, constituyen una porción importante de la explicación sobre la calidad educativa en el nivel superior.

Bogoya y Bogoya estiman un modelo lineal que considera el rendimiento académico en pruebas estandarizadas y el nivel socioeconómico. Los autores encontraron que el historial académico, representado en los resultados Saber 11, es un buen predictor del desempeño en las Saber Pro, por encima del nivel socioeconómico. En un trabajo posterior, Bogoya et al. usaron una aproximación a la medición del valor agregado en pruebas estandarizadas, con estimaciones a través de mínimos cuadrados ordinarios y regresión cuantílica. La modelación con mínimos cuadrados muestra que el desempeño en pruebas Saber 11, en conjunto con otras características socioeconómicas son buenos predictores del desempeño en las Saber Pro; sin embargo, debido a los problemas de sesgo referidos previamente, esta metodología no permite cuantificar adecuadamente el valor agregado de una institución. En esa medida, la regresión cuantílica reduce la suma de errores al cuadrado, pero no logra aislar el efecto de la institución sobre el rendimiento en la Saber Pro.

Shavelson et al. discuten los retos que se presentan en la medición de valor agregado para el caso colombiano y advierten la existencia de supuestos en los ejercicios de modelación, que pueden ser vistos como limitaciones o imprecisiones en las mediciones de valor agregado. Dichos supuestos son, entre otros, la no interferencia, en la que se presume que no hay efectos de grupo par asociados con los tratamientos; la homogeneidad del efecto causal, que no varía en función de las características individuales; y el de la presunción de correctitud de las formas funcionales lineales. Cada uno de estos supuestos revela limitaciones de los métodos para medir el valor agregado, pues la literatura ha documentado la existencia de efectos de grupo par (Arnott y Rowse, 1987), y se ha demostrado la efectividad de las aproximaciones no lineales (Schiltz et al., 2018).

Los estudios reseñados hasta este punto usan en su mayoría las pruebas estandarizadas como fuente de información; sin embargo, como advierten Cunha y Miller , el uso de datos administrativos para medir el valor agregado en la educación superior reviste algunos problemas. En primer lugar, el valor agregado no solo deriva de las pruebas estandarizadas, sino que puede verse reflejado en las tasas de permanencia, tasas de graduación y ganancias de los egresados, lo que implica que las medidas que se concentran en los resultados de las pruebas desconocen otros efectos que puede tener una institución educativa sobre la calidad de sus egresados. En segundo lugar, los autores reconocen que las medidas estandarizadas no dan cuenta precisa de la agregación de valor en los campos disciplinares, pues suelen concentrarse en la observación de competencias generales.

Por su parte, Liu et al. (2012) critican el uso de pruebas estandarizadas como un instrumento de diagnóstico para la educación superior, pues advierten que en estas no se captura el nivel de motivación de los estudiantes que presentan la prueba. Esto implica que, aunque se trata de un instrumento importante para medir la calidad educativa, no se constituye en una fuente confiable, toda vez que induce sesgos. En esta misma línea, Sparks y Tam argumentan que la calidad de la institución educativa y su generación de valor agregado no se reduce al rendimiento en pruebas, sino a los resultados en términos de empleo, la motivación de los estudiantes, el tiempo de contacto y la experiencia con la institución. Por su parte, Díaz-Palacios reconoce la importancia de las pruebas estandarizadas, pero advierte que su aplicación desconoce otras acciones que se adelantan en las instituciones en procura de mejorar la calidad educativa.

Ante la presencia de múltiples fuentes de sesgos, se ha optado recientemente por el uso de métodos alternativos para minimizar los errores de predicción. Blankenberger et al. señalan que en la evaluación de la calidad educativa es recomendable emplear métodos cuasiexperimentales que reduzcan las amenazas de pérdida de validez interna y externa. En esa medida, consideran que el método Propensity Score Matching podría servir para emular la aleatorización y, por tanto, sería efectivo en la reducción del sesgo que se deriva de la autoselección. Esta observación es confirmada por Austin , quien afirma que este método logra eliminar una alta proporción de las diferencias que hay en las características básicas entre quienes reciben el tratamiento y aquellos que hacen parte del grupo de control.

En el campo de la investigación experimental y cuasiexperimental, destaca el trabajo de Schiltz et al. , quienes construyeron un ranking de escuelas basado en estimaciones de valor agregado con el método de bosques aleatorios. Los autores demostraron, con datos de pruebas estandarizadas para Italia en el 2013, que el método de bosques aleatorios permite minimizar los errores de predicción si se le compara con los métodos tradicionales de regresión lineal, pues, al capturar no linealidades, describe de forma más ajustada las relaciones más complejas.

En definitiva, la existencia de sesgo de selección, defectos en las variables que se usan en la medición y no linealidades, obliga a una revisión permanente de los métodos usados para la medición de valor agregado. Estos métodos no solo deben atender a la necesidad de obtener el efecto neto de la contribución institucional, sino que además pueden convertirse en una herramienta de diagnóstico e identificación de instituciones y programas que contribuyen a la mejora de la calidad educativa.

En esta medida, este trabajo aporta a la literatura existente sobre valor agregado en educación superior, porque avanza en la corrección del sesgo de selección a partir del uso de un método cuasiexperimental de Propensity Score Matching, usualmente utilizado en estudios de evaluación de impacto, al tiempo que evalúa el desempeño de los estudiantes de todos los programas en todas las instituciones de Colombia, y desarrolla una herramienta de consulta y comparación, que sirve como insumo para el diseño de estrategias de mejora a nivel de programa e instituciones.

Metodología

Este artículo se desarrolló con métodos cuantitativos. Tras el proceso de depuración de las bases de datos, fue ejecutado en tres fases: en la primera fase, se construyó un análisis descriptivo, en el que se identificaron las trayectorias y el desempeño en competencias generales de los estudiantes de cada universidad y cada programa académico, desde la presentación de la prueba Saber 11, hasta la presentación de la prueba Saber Pro, previas a la corrección por sesgo de selección.

Posteriormente, se evaluó el desempeño y se corrigió por sesgo de selección, para lo cual se estimó el modelo de regresión lineal jerárquica, que se comparó con el método de Matching. Con la aplicación tanto del método de regresión jerárquica como del método de Matching, se construyó un ranking por institución y, para el último caso, también se construyó un ranking por programa. Por último, en la tercera fase, para sistematizar los resultados y permitir la identificación y caracterización de los programas y sus resultados, en términos de valor agregado, se elaboró una aplicación de visualización de la información a través de Shiny Apps.

Análisis descriptivo

Con la información depurada, se construyó un análisis de estadística descriptiva de la prueba Saber Pro por cada una de las covariables que se definen en el modelo de valor agregado. Dado que la prueba Saber 11 tuvo un cambio estructural a partir del periodo 2014-2, que hizo cambiar significativamente los resultados promedio, es posible hacer las comparaciones según los resultados de uno y otro periodo, esto es, antes de 2014-2 y después.

Se ejecutó un análisis de puntajes globales, a partir de un diagrama de dispersión de la prueba Saber Pro versus las pruebas Saber 11, que se divide en cuatro cuadrantes (ver figura 1). En el marco de este análisis, los valores de referencia corresponderán a promedios nacionales (representados en las líneas punteadas). En el cuadrante I, se ubican aquellos estudiantes que estuvieron por encima del promedio nacional tanto en las pruebas Saber 11 como en las Saber Pro; en el cuadrante II, están los estudiantes que tenían buen rendimiento en las pruebas Saber 11 y obtuvieron un rendimiento desfavorable en las Saber Pro; en el cuadrante III, se encuentran aquellos estudiantes que tenían un desempeño por debajo del promedio en las Saber 11 y que mantuvieron un desempeño por debajo de la media en las Saber Pro; por último, la descriptiva más importante corresponde al cálculo del número de personas en el cuadrante IV, que equivale a los estudiantes que ingresaron con un puntaje de la prueba Saber 11 por debajo de la media y lograron obtener puntajes por encima del promedio en la prueba Saber Pro.

Figura 1: Modelo de análisis de dispersión entre los resultados de las pruebas Saber 11 y Saber Pro.

Fuente: Informe de valor agregado, Universidad de Cundinamarca.

Resultados

El análisis descriptivo realizado demuestra la importancia del sesgo de selección, pues, como se puede verificar en la figura 2, las universidades de alto logro como la Universidad de los Andes y la Universidad del Norte en Barranquilla, concentran la mayor proporción de sus estudiantes (98 %, para la primera, y 95 %, para la segunda) en el primer cuadrante, esto es, reciben estudiantes de alto logro académico y gradúan estudiantes con rendimiento en Saber pro por encima del promedio. En los casos en los que reciben estudiantes por debajo del promedio en Saber 11, logran que su rendimiento esté por encima del promedio en la prueba Saber Pro.

Figura 2: Relación de los puntajes de las pruebas Saber pro y Saber 11, Universidades de los Andes (izquierda) y Universidad del Norte (derecha).

Fuente: elaboración propia con los datos del Icfes.

Los patrones observados muestran una tendencia a la diferenciación en calidad y en procesos de selección cuando se comparan con instituciones de educación superior que reciben mayores proporciones de estudiantes con menores niveles socioeconómicos y menor rendimiento en pruebas Saber 11. La figura 3 da cuenta de los patrones observados para dos universidades en la ciudad de Barranquilla, la Universidad de la Costa y la Universidad Simón Bolívar. De esta comparación se deduce que, a diferencia de las universidades de alto logro, la proporción de estudiantes con buen rendimiento en las pruebas Saber 11 se ubica en 79 % para la Universidad de la Costa y en 72 % para la Universidad Simón Bolívar. En las Saber Pro, 68 % de los estudiantes logra estar por encima del promedio en la primera universidad y 58 % lo hace en la segunda.

Figura 3: Relación de los puntajes de las pruebas Saber Pro y Saber 11, Universidad de la Costa (izquierda) y Universidad Simón Bolívar (derecha).

Fuente: elaboración propia con los datos del Icfes.

Resultados del Propensity Score Matching

Al aplicar el procedimiento de Propensity Score Matching se busca lograr un ajuste mayor entre cada estudiante y su vecino cercano, esto es, un estudiante de similares características en términos de nivel socioeconómico, programa académico, puntaje de la prueba Saber 11, entre otros, para diferenciar sus resultados tras pasar por las instituciones y programas que están siendo evaluados. Posterior al emparejamiento, se observa un mejor ajuste, como ejemplo se muestra la distribución de probabilidad para los estudiantes de la Corporación Universitaria Adventista (ver figura 4), que se sitúa como novena en generación de valor agregado con el modelo lineal jerárquico, con un promedio institucional que está 0,32 desviaciones estándar por encima del promedio nacional. Los patrones de distribución presentados en las Figuras 4 y 5 ponen en evidencia que los resultados en términos de valor agregado suelen ser más bajos para la Corporación Universitaria Adventista, cuando se compara a los estudiantes con la totalidad de la muestra, y tiende a ser más ajustados cuando se consideran sus pares cercanos en términos de resultados de Saber 11 y nivel socioeconómico. Asimismo, la información de la tabla 3 corrobora esta información, pues es evidente que la agregación de valor de esta institución es superior cuando sus estudiantes son comparados con sus pares cercanos, ya que la desviación estándar pasa de estar 0,32 por encima a 0,47.

Figura 4: Ajuste con emparejamiento (derecha) y sin emparejamiento (izquierda) para pruebas Saber 11, Corporación Universitaria Adventista.

Fuente: elaboración propia con los datos del Icfes.

Figura 5: Ajuste con emparejamiento (derecha) y sin emparejamiento (izquierda) por nivel socioeconómico, Corporación Universitaria Adventista.

Fuente: elaboración propia con los datos del Icfes.

En cuanto al ranking de uso del Matching (ver tabla 3), se observa que algunas instituciones siguen registrando buen desempeño en términos de valor agregado, es el caso de la Universidad La Gran Colombia en Armenia, Unilatina, la Universidad de Antioquia y la Corporación Universitaria Adventista. Instituciones como el CESA (0,14) y la Fundación Universitaria Cafam (0,19) tienen un aporte más modesto al valor agregado cuando se compara a sus estudiantes con otros de similares características. En el caso de la Universidad Nacional de Colombia (-0,03), se observa un deterioro en la generación de valor agregado cuando se aplica el procedimiento de Matching. Al aplicarlo, destaca la presencia de Universidades como la Sergio Arboleda en Santa Marta, la Universidad de Cundinamarca, la Manuela Beltrán y la Konrad Lorenz, las cuales muestran agregación de valor para sus estudiantes al compararlos con sus pares.

Tabla 3: Ranking universitario al usar el modelo Propensity Score Matching

Ranking	Nombre	Ciudad	Puntaje
1	Corporación Universitaria Adventista	Medellín	0,47
2	Universidad Sergio Arboleda	Santa Marta	0,36
3	Institución Universitaria Latina Unilatina	Bogotá D. C.	0,35
4	Universidad La Gran Colombia	Armenia	0,32
5	Universidad de Antioquia	Carmen de Viboral	0,32
6	Universidad Libre	Cúcuta	0,28
7	Universidad de La Sabana	Chía	0,28
8	Fundación Universitaria de Ciencias de la Salud	Bogotá D. C.	0,24
9	Fundación Universitaria Juan N. Corpas	Bogotá D. C.	0,23
10	Universidad de Cundinamarca UDEC	Ubaté	0,23
11	Universidad Manuela Beltrán UMB	Bogotá D. C.	0,22
12	Fundación Universitaria Konrad Lorenz	Bogotá D. C.	0,22

Fuente: elaboración propia con los datos del Icfes .

Por último, en términos de programas académicos, se obtuvieron los resultados expuestos en la tabla 4. El programa de Cine y Televisión de la Universidad Nacional de Colombia logra situar a sus estudiantes 2,97 desviaciones estándar por encima de sus pares en las pruebas Saber Pro. Entretanto, programas como Microbiología Industrial de la Javeriana, Física y Arquitectura de la Nacional, Economía de La Salle y Medicina Veterinaria, logran superar a sus pares en más de una desviación estándar. Estos resultados por programa revelan dos hechos interesantes, el primero es que universidades como la Nacional y la Sabana aportan diferenciales importantes a nivel de programa, pues logran posicionar varios de estos entre los que mayor valor agregado generan. Otro hecho destacable es que la UNAD, una universidad cuya modalidad es a distancia, posiciona tres programas entre los veinticinco que producen mayor valor agregado en el país.

Tabla 4: Ranking de programas al usar el modelo Propensity Score Matching

Ranking	Universidad	Programa	Puntaje
1	Universidad Nacional de Colombia	Cine y Televisión	2,97
2	Pontificia Universidad Javeriana	Microbiología Industrial	1,64
3	Universidad Nacional de Colombia	Física	1,34
4	Universidad de La Salle	Economía	1,25
5	Universidad Nacional de Colombia	Arquitectura	1,2
6	Universidad de Antioquia	Medicina Veterinaria	1,2
7	Universidad Militar Nueva Granada	Ingeniería Civil	0,9
8	Universidad Nacional Abierta y a Distancia UNAD	Zootecnia	0,85
9	Universidad Distrital Francisco José de Caldas	Matemáticas	0,83
10	Universidad Nacional Abierta y a Distancia UNAD	Licenciatura en Inglés Como Lengua Extranjera	0,83
11	Universidad de La Sabana	Comunicación Audiovisual y Multimedios	0,82
12	Universidad Nacional Abierta y a Distancia UNAD	Ingeniería Electrónica	0,81
13	Universidad de La Sabana	Licenciatura En Pedagogía Infantil	0,77
14	Universidad de La Sabana	Enfermería	0,76
15	Universidad Eafit	Psicología	0,75
16	Universidad Nacional de Colombia	Ciencia Política	0,73
17	Universidad Pontificia Bolivariana	Trabajo Social	0,71
18	Universidad del Magdalena UniMagdalena	Antropología	0,71
19	Pontificia Universidad Javeriana	Ciencias de la Información-Bibliotecología	0,7
20	Universidad Pedagógica Nacional	Licenciatura en Educación Básica con énfasis en Humanidades: Español e Inglés	0,69
21	Universidad El Bosque	Diseño Industrial	0,69
22	Universidad del Tolima	Licenciatura en Inglés	0,68
23	Universidad Externado de Colombia	Gobierno y Relaciones Internacionales	0,67
24	Corporación Universitaria Taller Cinco Centro de Diseño	Profesional en Diseño Grafico	0,67
25	Universidad de La Sabana	Fisioterapia	0,67

Fuente: elaboración propia con los datos del Icfes.

Los hallazgos de este trabajo incluyen un comparativo en el nivel descriptivo y para los dos tipos de modelos que se estimaron para aproximarse al valor agregado. En esta sección, se tomaron algunos ejemplos que ilustran las técnicas utilizadas y las principales observaciones derivadas de la aplicación de metodologías estadísticas. Sin embargo, como se anotó previamente, el estudio incluyó la totalidad de instituciones de educación superior en Colombia y sus programas, por lo cual se desarrolló un aplicativo anexo para consulta en el que se pueden visualizar los resultados de cada fase del estudio.²

Comparación entre los resultados de ambas aproximaciones metodológicas

La comparación de las técnicas estadísticas utilizadas en esta investigación demuestra que, si bien a nivel general hay correspondencia entre los hallazgos del modelo de regresión lineal jerárquico y del Propensity Score Matching (ver figura 6), pues hay una correlación positiva entre ambas técnicas, a nivel individual se observan diferencias que conviene tener en cuenta en los debates sobre corrección del sesgo de selección. En la tabla 5 se presentan las IES que obtuvieron los cinco mejores y los cinco peores resultados con la técnica de PSM, cuya posición y resultados fueron comparados en la aplicación del método de regresión jerárquico. Las tendencias observadas muestran que, entre las entidades que lideran, solo la Universidad la Gran Colombia, sede Armenia, se mantuvo en la misma posición. Este resultado puede sugerir que en el método de regresión lineal jerárquica persiste el sesgo de selección. No obstante, la información observada demuestra que solo en un caso, el de la Universidad Sergio Arboleda sede Santa Marta, la variación en la posición es importante, pues con la técnica de PSM está en la segunda posición y en el modelo lineal jerárquico en la posición 22. En este caso, el ajuste de la comparación con vecinos cercanos demuestra el efecto positivo que tiene esta institución en sus estudiantes. En las IES de peor desempeño, la dispersión entre los resultados de los cálculos con PSM y Modelo lineal jerárquico es menos evidente y se observa que las posiciones y puntajes en términos de desviación estándar son cercanos, lo que evidencia el poco aporte de estas instituciones al proceso de formación de sus estudiantes. Estos casos merecen especial atención, pues requerirían del rediseño de estrategias orientadas a la mejora en la calidad educativa para que la institución contribuya al proceso de su estudiante y genere valor agregado.

Tabla 5: Comparativo de desempeño PSM y lineal jerárquico de instituciones con mejor y peor desempeño

IES	Resultado PSM	Ranking PSM	Resultado lineal	Ranking lineal jerárquico
Corporación Universitaria Adventista	0,47	1	0,32	9
Universidad Sergio Arboleda	0,36	2	0,21	22
Institución Universitaria Latina Unilatina	0,35	3	0,35	6
Universidad La Gran Colombia	0,32	4	0,36	4
Universidad de Antioquia	0,32	5	0,43	2
Fundación Universitaria para el desarrollo humano Unimpahu	-0,32	217	-0,21	198
Institución Universitaria Escolme	-0,34	218	-0,28	213
Escuela Militar de Cadetes general José María Córdoba”	-0,36	219	-0,21	202
Corporación Universitaria Centro superior Unicuces	-0,46	220	-0,37	217
Dirección Nacional de Escuelas	-0,51	221	-0,56	221

Fuente: elaboración propia con datos del Icfes .

Figura 6: Correlación entre valor agregado por el método de regresión jerárquica y por Propensity Score Matching.

Fuente: elaboración propia.

Conclusiones

Este artículo se aproximó a la discusión metodológica sobre valor agregado y optó por la comparación entre un diseño no experimental, el de regresión lineal jerárquica y uno cuasiexperimental, el Propensity Score Matching. Los resultados muestran que el Propensity Score Matching es efectivo en la reducción del sesgo de selección, porque compara los resultados de cada estudiante en las pruebas Saber Pro con los de sus pares más cercanos. Este ajuste metodológico deriva en resultados en valor agregado que difieren de los obtenidos mediante el método de regresión lineal jerárquica.

Es importante anotar que la comparación de métodos que se llevó a cabo en este trabajo permite tener una aproximación a la medición de la calidad a partir de la observación de los resultados en las pruebas estandarizadas y, aunque se presentaron los casos más destacados, también se observan instituciones y programas con resultados negativos en la medida de valor agregado. El análisis a profundidad de los resultados reportados en este estudio puede constituir un punto de partida para la revisión de las estrategias institucionales frente a las pruebas estandarizadas y lograr que los problemas que revelan las medidas de valor agregado sean corregidos.

En el análisis descriptivo, es posible reconocer la existencia de disparidades entre instituciones de educación superior que se evidencian en el nivel de entrada de los estudiantes a los programas de formación. El análisis por cuadrantes revela que las universidades de alto logro reciben más del 90 % de estudiantes con buen rendimiento, producto de lo cual cuentan con resultados por encima de la media en las Saber Pro. En contraste, la proporción de buenos puntajes se reduce a alrededor del 70 % en instituciones de nivel mediano; en este caso, el ejercicio de garantizar mejor rendimiento en las Saber Pro resulta más exigente, sobre todo, en casos en los que la proporción de estudiantes resilientes es baja (Mendoza et al., 2024).

En cuanto a los resultados del análisis descriptivo, merece especial atención el caso de los estudiantes que entraron con buen rendimiento en las Saber 11 y obtuvieron un resultado desfavorable en las Saber Pro. El estudio de las condiciones en las que estos estudiantes empeoraron su desempeño en el puntaje global de Saber Pro puede revelar que los enfoques educativos que no consideran las características propias del estudiante son insuficientes para garantizar su buen desempeño. En razón a esto, la utilización de enfoques personalizados mediados por tecnología puede contribuir a reducir la incidencia de dichos casos (Iyer et al., 2022).

A pesar de la corrección de posibles sesgos, el artículo tiene limitaciones en su aproximación conceptual al valor agregado, pues parte de pruebas estandarizadas y deja de lado aspectos como la empleabilidad (Cunha y Miller, 2014) o los tiempos de interacción con el estudiante , que también han sido identificados como parte del valor que generan las instituciones educativas. Otro elemento que conviene revisar a futuro tiene que ver con el estudio de los campos disciplinares y su contribución al valor agregado siguiendo metodologías como la propuesta por Balcázar y Ñopo , quienes se aproximaron al valor agregado en los campos relacionados con las licenciaturas o carreras enfocadas en pedagogía.

Otra posible limitación se asocia con que el periodo considerado en la elaboración de este estudio corresponde al año 2020, momento en el cual se produjo un cambio en la educación superior provocado por las políticas de confinamiento implementadas para detener el avance de la pandemia por covid-19 . Sin embargo, el momento de la evaluación no permite medir el efecto del confinamiento sobre el rendimiento de los estudiantes en la educación superior, por lo que puede considerarse como un estudio que ofrece un panorama sobre la calidad educativa en una etapa previa al covid-19. Estudios previos han demostrado que los confinamientos llevaron a variaciones en el logro académico de los estudiantes y pusieron en evidencia la importancia de atributos individuales y socioeconómicos de los estudiantes resilientes (Cheung et al., 2024), por lo que es preciso que el método presentado en este estudio se aplique a los resultados obtenidos en 2022 y 2023 para evaluar las diferencias de desempeño de los estudiantes que avanzaron en su proceso de formación en educación superior durante los confinamientos.

También resulta importante la validación de las fuentes de información y la observación en el tiempo de las medidas de valor agregado. Frente a esto, Steedle llama la atención sobre la confiabilidad de los datos, la consistencia en el tiempo y la información acerca de la precisión de los puntajes. Esto acarrea que los procesos de evaluación constante de las pruebas estandarizadas sean clave para garantizar la fiabilidad de este tipo de estudios.

Este estudio se concentró en el desempeño de estudiantes que presentaron la prueba Saber Pro en un contexto en el que la pandemia por covid-19 aún no mostraba sus efectos sobre la calidad. Dado que hallazgos previos (Bartholo et al., 2023; Engzell et al., 2020) han dado cuenta de pérdidas en calidad asociadas con las dinámicas que siguieron las instituciones para cumplir con las políticas de aislamiento, se requiere el desarrollo de estudios comparativos que evalúen el efecto por institución y programa en una prueba posterior al covid.

Una lección importante de este trabajo es que fue posible identificar experiencias exitosas de programas en el desarrollo de competencias genéricas. Una observación cualitativa de estos programas y un mapeo de sus buenas prácticas puede contribuir a identificar estrategias de intervención que redunden en la mejora de capacidades para la presentación de las pruebas estandarizadas en el nivel superior.