b. El uso de indicadores que no reflejan adecuadamente la calidad que pretenden medir.
c. El proceso mismo mediante el cual se calcula el puntaje final; y
d. El hecho mismo de representar la calidad de una institución a través de una cifra final única.
A continuación se abordan brevemente algunas de estas deficiencias.
Limitaciones en la selección de indicadores
Por la dificultad de recabar información confiable en fuentes internacionales, ARWU, THE y QS usan un número reducido de indicadores en contraste con los rankings nacionales. Si a esto se agrega que se restringen a un solo modelo institucional, se tiene el riesgo de distorsionar los resultados (Vught van & Westerheijden, 2010). Sin embargo, una limitación mayor de los indicadores se encuentra en que carecen de los recursos para fungir como representaciones de realidades complejas.
Problemas con el cómputo de una cifra final
El proceso de cómputo vuelve a introducir el problema de la falta de fundamentación. No es sólo la falta de consenso sobre un concepto de calidad, sino que el cálculo de la cifra a partir de la cual se asigna una posición también carece de bases sólidas (CHERPA-Network, 2010; Dill & Soo, 2005; Longden, 2011; Marginson, 2012; Rauhvargers, 2011; Vught van & Ziegele, 2012; Wende van der & Westerheijden, 2009). Por otra parte, la interpretación de la calificación final plantea un problema adicional: ¿Es posible representar el desempeño de una IES a través de un solo valor numérico? Esta pregunta no hace sino volver a plantear lo que constituye una de las limitaciones más importantes de estos instrumentos: no tener un concepto objetivo e incluyente de lo que constituye la calidad de la ES. Los rankings globales le asignan a cada institución una posición definida como si fuera un todo homogéneo, sin tomar en cuenta su diversificación interna, tanto horizontal como vertical (CHERPA-Network, 2010; Wende van der, 2008). Es común que las facultades o departamentos de una universidad tengan diferente prestigio; así mismo es frecuente que tengan unidades académicas con distintos grados de consolidación o dedicadas a varias funciones. Considérese, como ejemplo, el caso de instituciones como la Universidad Nacional Autónoma de México (UNAM) para percatarse de la dificultad de evaluarla holísticamente, dada la variedad de ciclos educativos, facultades, escuelas, institutos de investigación, y etapas de crecimiento y maduración de cada dependencia académica.22 Esta diferenciación dificulta la comparación holística de las IES dentro de un sistema de ES, y es un obstáculo para contrastarlas con instituciones de otros países y regiones del mundo. Finalmente, la metodología de los rankings como ARWU, THE y QS tiene la falla de que al asignar posiciones absolutas se da el caso de que un cambio en el lugar no corresponde, en realidad, a las diferencias estadísticas que se dan en los puntajes que obtienen (Wende van der, 2008).
4. ALTERNATIVAS A LOS RANKINGS GLOBALES
Esta sección se ocupa brevemente de tres proyectos que desarrollan, cada uno, distintos enfoques para superar las limitaciones de los rankings globales, especialmente las del primer grupo (ARWU, THE y QS). Estas iniciativas son: 1) el desarrollo de U-Multirank, un ranking que incluye una tipología de IES más allá de las universidades de investigación;23 2) el programa AHELO de la OCDE, todavía en etapa de factibilidad; y 3) el ranking U21 Ranking de Sistemas de Educación Superior 2012.
El proyecto U-Multirank
U-Multirank es un proyecto, lanzado por la Comisión Europea el 2 de junio de 2009, para determinar la factibilidad de un ranking global de universidades, multidimensional, en el cual los usuarios puedan interactuar. El proyecto estuvo a cargo del Centro para el Desarrollo de la Educación Superior (CHE)24 y del Centro para Estudios de Política Educativa de la Educación Superior (CHEFS). En el estudio piloto participaron 159 IES de 57 países: 94 (68%) de éstas de Europa y 65 (32%) de otras regiones del mundo.25 Éste tuvo dos etapas: la primera, de diseño y consulta, terminó hacia finales del 2009; y en la segunda, se buscó probar la metodología y factibilidad de U-Multirank en dos áreas: negocios e ingeniería. Los resultados finales de la fase piloto se presentaron en junio del 2011 (Vught van & Ziegele, 2011).
Metodológicamente, U-Multirank está orientado a incluir todas las funciones de las IES y evita la selección de indicadores y porcentajes basada en supuestos parciales de lo que constituye la calidad de la ES. Los resultados no se presentan en el formato de tabla de posiciones ni se basan en una cifra final agregada. Las dimensiones de U-Multirank se derivan de las tres funciones sustantivas de las IES, docencia y aprendizaje, investigación, transferencia de conocimientos más sus dos ámbitos de interacción: internacionalización e impacto regional. A su vez, éstas se dan en dos etapas distintas como se señaló arriba: la ejecución y la generación de los productos (insumos y procesos) e impactos del desempeño (productos e impactos). Por lo tanto, hay cinco dimensiones, divididas cada una en cuatro fases. Incorpora en su conjunto más de 40 indicadores. U-Multirank tiene varios modos de presentación de los resultados. Entre éstos se destaca la representación multidimensional de perfiles institucionales por medio de gráficas de rayos solares.26 Los resultados de las instituciones con un perfil semejante se presentan en tablas que no muestran un orden jerárquico, sino que reúnen los diferentes niveles de desempeño con respecto a cada una de las dimensiones. Una de las dificultades operativas fue recabar la información misma, en vista de que ésta depende en gran medida de la participación de las propias universidades. Por otra parte, se ha objetado que los indicadores institucionales no han tomado en cuenta las misiones de cada IES (Beer, 2011). El resto de las críticas como las publicadas en (Baty 2011b; 2012) han tendido más a defender a los rankings globales que a señalar deficiencias metodológicas inherentes a esta alternativa. Faltan, por lo tanto, estudios de tipo analítico y crítico que propongan una discusión informada y sin sesgos.
El proyecto AHELO de la OCDE
Como se ha visto más arriba, los indicadores utilizados en los rankings globales no evalúan la calidad de la enseñanza y el aprendizaje directamente; mucho menos podrían hacer comparaciones internacionales en este rubro. El proyecto AHELO de la OCDE busca llenar esta laguna evaluando los resultados de aprendizaje de los estudiantes hacia el final del primer ciclo de la ES, en diferentes países. Esta iniciativa se encuentra en la etapa de factibilidad, circunscribiéndose a un subconjunto de habilidades genéricas: el pensamiento crítico, el razonamiento analítico, la capacidad para resolver problemas y la comunicación por escrito, además de valorar el aprendizaje en dos áreas disciplinares: la economía (OCDE: 2011a) y la ingeniería civil (OCDE, 2011b; Tremblay, Lalancette & Roseveare, 2012). Uno de los aspectos más interesantes de este programa es su interface con el proyecto Tuning por lo que toca a la metodología para definir resultados de aprendizaje como competencias específicas a profesiones y disciplinas (Nusche, 2008). No obstante de que se trata de un proyecto sólidamente fundado en su aspecto conceptual y estadístico, AHELO tiene que despejar las dudas que despierta la evaluación por medio de pruebas estandarizadas, especialmente cuando se hace con estudiantes de diferentes tradiciones educativas, condiciones socio-económicas y culturas (Douglass, Thomson & Zhao, 2012; Green, 2011).
Sistemas nacionales de ES
Los rankings de universidades no pueden dar cuenta de factores como la diversidad horizontal entre las universidades de un país; así como tampoco del impacto que este nivel superior tiene en la economía y el bienestar de los ciudadanos de una nación. Se requiere también apreciar la competitividad de estos sistemas de cara a la globalización (Marginson & Wende van der, 2007b; Marginson, 2010). A partir de considerar estas limitaciones de los rankings globales individuales surge la necesidad de diseñar instrumentos que puedan evaluar el desempeño de los sistemas de ES, incorporando algunas de las lecciones que se desprenden de las críticas que se han hecho a la metodología de los primeros. Hay varias iniciativas que han desarrollado una metodología propia para los de este último tipo. Sin embargo, por falta de espacio, se escoge sólo el U21 Ranking de Sistemas Nacionales de Educación Superior 2012 (Universitas 21, 2012), el cual desarrolla un marco de indicadores que incorpora cuatro áreas