Personalización e interactividad en los rankings de universidades publicados
en la Web
Por Enrique Orduña-Malea
LOS RANKINGS DE UNIVERSIDADES han experimentado un crecimiento espectacular
desde su nacimiento a finales del siglo XIX en los Estados Unidos hasta la
actualidad, donde se detectan iniciativas y proyectos de este tipo en más de
40 paÃses alrededor de todo el mundo[1].
Pese a que la historia de los rankings puede agruparse, de forma un tanto
aproximada, en distintas fases, es indudable que la publicación en 2003 del
Academic Ranking of World Universities (ARWU), primer ranking completamente
mundial de universidades de la historia, marca un antes y un después[2].
Sin embargo, las conocidas limitaciones técnicas y sesgos de los rankings
(ampliamente recogidos en la literatura cientÃfica) han llevado a muchos
profesionales a tratar de elaborar estructuras y metodologÃas novedosas que
traten al menos de minimizar algunos de los errores más frecuentes.
Este breve artÃculo trata de describir de forma sucinta algunas tendencias en
el diseño de rankings de universidades, donde la forma en la que los usuarios
consumen la información proporcionada por estos productos juega un papel
fundamental.
1. DESAF�OS EN EL DISEÑO DE RANKINGS
Han sido muchos los autores que han tratado de identificar el camino que los
rankings de universidades deberÃan seguir en el futuro. Entre éstos destaca
Gero Federkeil (2007), quien indica que los rankings deberÃan alejarse de:
- Analizar la universidad entera.
- Usar un marcador final agregado.
- Utilizar una única fuente de datos, y de
- visualizar ordenadamente un “ranking� de elementos.
En cambio, deberÃan dirigirse hacia el diseño de:
- Rankings de disciplinas o campos.
- Rankings multidimensionales.
- Rankings multiperspectiva, y de
- rankings de grupos, bandas o clusters.
Glänzel y Debackere (2009) sintetizan igualmente los principales problemas
conceptuales que los rankings deben resolver en los próximos años:
- Rankings selectivos versus integrados.
- Rankings globales versus locales.
- Rankings multidimensionales versus lineales, y
- rankings escalares versus agrupados en clusters.
Finalmente es Alex Usher (2009) quien, bajo la etiqueta de “rankings de
universidad 2.0â€�, identifica las 7 caracterÃsticas de los rankings clásicos
que se rompen definitivamente de cara al futuro:
- Uso de indicadores que tratan de centrarse en la experiencia de grado (es
decir, previa al máster o doctorado).
- Rankings de cobertura nacional.
- Análisis a nivel de la universidad entera.
- Posicionamiento en una escala ordinal basada en indicadores agregados y
ponderados.
- Datos provenientes de gobiernos y encuestas reputacionales.
- Visualización a través de un único conjunto de rankings ordinales.
- Rankings gestionados por medios de comunicación de masas.
De forma paralela al abandono de estas reglas clásicas, aparecen
paulatinamente rankings que permiten la personalización (user-driven), y que
sintetizan la mayorÃa de las propuestas de cambio.
2. PERSONALIZACIÓN DE LOS RANKINGS DE UNIVERSIDADES
Las posibilidades que ofrece la publicación de rankings en la Web (forma de
consumo ya mayoritaria hoy dÃa y, en algunos casos, exclusiva) propicia la
ruptura de las estructuras rÃgidas y estáticas asociadas a los rankings
clásicos.
De esta forma, más allá de poder ordenar la tabla de resultados en función
de un indicador u otro (lo que no constituye por sà mismo un ranking
“personalizable�), los usuarios son capaces de elegir los indicadores que
desean utilizar, las ponderaciones que estiman oportunas, el área temática de
interés o la zona geográfica, por ejemplo.
El ranking pionero en ofrecer estas posibilidades a los usuarios fue el
“Ranking CHE�, publicado por primera vez en 1998[3]. Los editores de este
ranking transnacional desechan la idea de integrar los diferentes indicadores
individuales en un sólo indicador global para cada institución, porque “no
existe una mejor universidad� en todas las áreas, y “pequeñas diferencias
producidas por fluctuaciones aleatorias pueden ser malinterpretadas como
diferencias realesâ€� en sistemas de rankings holÃsticos.
Bajo esta idea, reconocen que la definición de calidad es “a propósito� y
abierta a variaciones entre la definición del editor y la del consumidor,
puesto que hay muchos tipos de editores y muchos tipos de usuarios.
La filosofÃa de este ranking es la de guiar a los usuarios en el proceso de
consulta del ranking, de forma que éstos sean capaces de expresar sus
necesidades reales. No se ofrece “la mejor universidad�, sino “la mejor
universidad dadas las necesidades de cada usuario�.
El “Ranking CHE� divide el proceso de consulta en tres pasos:
1) Materia en la que el usuario está interesado: quÃmica; informática;
biologÃa; arquitectura, etc.
2) Tipo de curso que desea realizar.
3) Aspecto más importante para el usuario: buenas condiciones de estudio; buen
equipamiento; orientación internacional; orientación al mercado; buenas
opiniones; capacidad investigadora; condiciones de la ciudad.
Cada uno de estos “aspectos seleccionables� lleva asociado un conjunto de
indicadores. El usuario puede conformarse con ellos o eliminar aquel que no sea
de su interés y elegir en su lugar otro indicador de otra categorÃa distinta,
hasta completar un máximo de 10 indicadores.
Una vez seleccionados los indicadores, un mapa situado en la parte izquierda de
la pantalla muestra el conjunto de universidades resultantes, de forma que las
instituciones situadas más cerca del cÃrculo central son las más adecuadas
para la consulta efectuada.
Finalmente, pulsando sobre cada institución, el sistema muestra la
información correspondiente en función de los indicadores elegidos. Para cada
indicador se muestra un color (verde, amarillo y rojo) que identifica el mejor
o peor rendimiento de la universidad en este parámetro, a modo de report card;
es decir, se usan clusters en lugar de ordinales.
El gran problema de esta metodologÃa es que requiere de suficiente
homogeneidad entre instituciones (y de sus programas y servicios) como para
permitir las comparaciones “al estilo CHE� en más variados entornos.
Otra limitación es la relativa al uso de bandas o clusters, pues aunque evitan
el uso de “ganadores� y perdedores�, queda la duda de las consideraciones
exactas que se han tenido en cuenta para clasificar a una universidad en un
rango o en otro.
Pese a esto, el “Ranking CHE� ofrece un interesante producto de
información universitaria multidimensional, personalizado por los propios
usuarios, sin la rigidez del uso de ordinales ni las posibles imprecisiones de
los rankings que analizan la universidad en su completitud.
Otra iniciativa de interés es la que ofrecen los editores del ranking
británico “The Complete University Guide� (CUG)[4]. Además de la completa
libertad del usuario para ordenar la tabla de resultados en función de los 9
indicadores usados (pudiendo igualmente eliminar los no deseados), CUG permite
al usuario modificar la ponderación que se proporciona a cada indicador a
través de unos simples menús desplegables, asà como la comparación directa
entre universidades preseleccionadas.
Siguiendo con este tipo de funcionalidades, se destaca muy especialmente el
proyecto “College Navigator�[5], desarrollado en Taiwán y presentado en el
congreso IREG-4 en 2009 (Yung-chi Hou, 2009).
Este proyecto se distingue, como el “Ranking CHE�, por seguir los
Principios de BerlÃn (que abogan por permitir a los usuarios la posibilidad de
elegir indicadores y pesos) y por la utilización de clusters en un proceso de
consulta guiado a través de 4 pasos:
a) Selección de indicadores
Se pueden seleccionar un mÃnimo de 3 y un máximo de 10 indicadores a elegir
entre una amplia variedad: encuestas de reputación, producción cientÃfica
por área, recursos financieros, libros por alumno en la biblioteca, tasas de
graduación, etc.
b) Ponderación
Los usuarios pueden elegir la ponderación que desean otorgar a cada uno de los
indicadores anteriormente seleccionados.
c) Preferencias
Los usuarios pueden en este punto filtrar la consulta a ciertos tipos de
universidades. Por ejemplo, seleccionar universidades públicas o privadas, de
una determinada región, buscar por áreas de conocimiento e incluso
seleccionar por tamaño (número de matriculados).
d) Resultados finales
Se obtiene la tabla final de resultados con la peculiaridad de que, además de
ofrecer un ranking escalar clásico, se muestra una flecha para cada indicador
seleccionado cuyo color y sentido indica el rendimiento de la universidad.
Otros rankings que permiten la mayor o menor personalización son
“Studychoiceâ€�[6] (PaÃses Bajos), PUSH (guÃa independiente sobre
universidades británicas asà como de todos los aspectos relacionados con la
vida del estudiante universitario)[7], y PhDs.org[8], proyecto de un antiguo
profesor del Dartmouth College que, a partir de datos de la National Science
Foundation, el National Research Council y el National Center for Education
Statistics, permite a los usuarios elegir un área temática y puntuar la
importancia de diversos criterios. Los resultados finales se muestran en una
tabla final, donde la posición de cada universidad se visualiza mediante un
intervalo de valores, resultado de la media de 500 simulaciones realizadas a
partir de las prioridades seleccionadas por los usuarios.
3. CUESTIONES A DISCUTIR
La forma de proceder de todos estos sistemas guiados por los usuarios es
lógica. Cada usuario necesita un tipo de información diferente, y sus
necesidades deben explicitarse en el sistema de alguna forma. Pensemos en qué
le puede aportar a un alumno, interesado en convertirse en arquitecto, que la
Universidad Autónoma de Madrid sea una de las universidades españolas mejor
posicionadas en la última edición del “Ranking ARWU�, si dicha
universidad no oferta estos estudios. O qué le puede interesar a un cirujano
la alta tasa de graduación de una universidad si lo que pretende es localizar
un Hospital universitario con el que poder colaborar. Cada usuario precisa de
un tipo de ranking, y los rankings “personalizablesâ€� son una vÃa de
entrada para una gran mayorÃa de usuarios que el propio sistema es capaz de
filtrar durante el proceso de consulta.
Sin embargo, pese a las grandes posibilidades de los sistemas guiados y
personalizados (mayor interactividad con los usuarios y, por tanto, mayor
relevancia en los resultados obtenidos), existen algunas crÃticas y
limitaciones en este tipo de productos.
La crÃtica fundamental es que, en sentido estricto matemático, no son
rankings. En algunos casos son “multirankings� (sólo cuando se ofrece un
ranking por cada indicador), pero en los servicios que se basan en rangos o
clusters, como el “Ranking CHE�, no existe realmente ningún ranking, por
lo que a estos sistemas se les deberÃa denominar de alguna forma diferente.
Incluso cuando los propios usuarios pueden elegir los componentes y pesos, se
tiene que tener presente que cualquier ránking es tan bueno como lo son los
datos recopilados. Éstos deben reflejar de forma directa y precisa la calidad
de las prácticas académicas y resultados educativos. Es decir, la capacidad
de personalización no garantiza per se la calidad en el producto final.
En relación a la recopilación de los datos, queda por determinar la adopción
de estas prácticas en los rankings mundiales (actualmente prácticamente
ninguno de ellos ofrece, en su formato público, la consulta interactiva
guiada). ¿Las grandes diferencias entre los sistemas universitarios de cada
paÃs limitan o enriquecen las prestaciones de consulta interactiva?
Por otra parte, estos sistemas dejan en manos de los usuarios la elaboración
de los resultados, por lo que no queda clara la responsabilidad de los editores
ante los resultados obtenidos. Es posible que estos servicios -en cierta
medida- eludan la responsabilidad de comunicar cuáles son las mejores y peores
universidades (una responsabilidad inherente a la elaboración de un ranking de
este tipo), además de favorecer la existencia de más “ganadores� y menos
“perdedores�, incoherente con la confección de un ranking, aunque
polÃticamente más correcto.
Finalmente, queda por discutir que los usuarios entiendan cada uno de los
indicadores que están a su disposición, sean capaces de ponderarlos con
cierto sentido y de interpretar adecuadamente los resultados, de forma que
éstos ayuden en el complejo proceso de elección de una universidad.
Existen numerosos estudios que indican que los rankings de universidades son
útiles principalmente para aquellos estudiantes con buenas notas, con firmes
intenciones de realizar estudios de posgrado, con padres con estudios
universitarios y con altos ingresos económicos (McDonough, 1998), y no tanto
para el resto. ¿Es posible que estos “rankings personalizables� ayuden a
agrandar esta brecha entre usuarios?
Puesto que España es una potencia mundial en la elaboración de rankings de
universidades (la mayorÃa de los cuales son además llevados a cabo por
profesionales de la información), serÃa muy interesante conocer qué opinión
tienen estos editores de los rankings “personalizables�.
4. NOTAS
1. Ranking System Clearinghouse. IHEP.
http://www.ihep.org/Research/ránkingsystemsclearinghouse.cfm
2. Academic Ranking of World Universities (ARWU).
http://www.arwu.org
3. CHE Ranking.
http://www.che-ranking.de
4. The Complete University Guide (GUG).
http://www.thecompleteuniversityguide.co.uk/single.htm?ipg=8726
5. College Navigator.
http://cnt.heeact.edu.tw/
6. Studychoice.
http://www.studychoice.nl/
7. PUSH.
http://www.push.co.uk
8. PhDs.org
http://www.phds.org/
5. REFERENCIAS BIBLIOGR�FICAS
Federkeil, Gero. “Rankings and quality assurance�. En: 3rd Meeting on the
International Rankings Expert Group (IREG-3). Shanghai Jiao Tong University,
October 28-31, 2007.
Glänzel, Wolfgang; Debackere, Koenraad. "On the 'multi-dimensionality’ of
rankings: some methodological and mathematical questions to be solved in university
assessment“. En: Ranking and differentiation in higher education, research and
knowledge utilisation. International symposium on University Ranking, Leiden, 6-7
February, 2009.
McDonough, P.; Antonio, A. L.; Walpole, M.; Pérez, L. X. “College Rankings:
Democratized College Knowledge for Whom?�. Research in Higher Education,
1998, v. 39, n. 5, pp. 513-537.
Usher, Alex. “University rankings 2.0�. Australian universities review,
2009, v. 51, n. 2.
----------------------------------------------------
Los archivos de IWETEL pueden ser consultados en:
http://listserv.rediris.es/archives/iwetel.html
----------------------------------------------------
