Educación, clasificaciones y métricas

Las ‘egometrías’ son una de las categorías de contenido más populares en la Red… y en el ámbito de la antaño conocida como “Educación Superior”, hoy llamada “Universidad”, no íbamos a ser menos. Hoy, repasando algunos enlaces me he encontrado de nuevo con el ranking de “THE, Times Higher Ed”, realizado por Thompson Reuters.

Como cualquier otro tipo de clasificación podemos discutir acerca de la coherencia y la consistencia de los criterios utilizados para establecer la puntuación de cada institución (en este caso consideran alrededor de 400 en todo el mundo). Pero a mi, su revisión me trae a la cabeza dos cuestiones que quisiera someter a la consideración del lector interesado.

THE University Ranking Weighting Scheme

Por un lado está la composición de sus criterios de clasificación; que reproduzco aquí debajo, no en lo que se refiere a su consistencia, sino por lo que significa en términos de lo que hoy se podría considerar como “Universidad”. El ranking utiliza trece (13) indicadores, agrupados en las siguientes cinco (5) áreas (peso en %):

  • Enseñanza (Teaching). Mide el entorno de aprendizaje (30%)
    • Encuesta de reputación académica (16%)
    • Premios de doctorado por curso (6%)
    • Estudiantes admitidos por curso (4,5%)
    • Ingresos por curso (2,25%)
    • Número de premios de doctorado / Número de premios de grado (2,25%)
  • Investigación (Research). Mide el volumen, los retornos y la reputación de la actividad investigadora (30%)
    • Encuesta de reputación investigadora (18%)
    • Ingresos procedentes de la investigación (6%)
    • Número de artículos por curso y personal investigador (6%)
  • Impacto (Citations). Mide la influencia de las investigaciones llevadas a cabo en el centro (30%)
    • Número medi de citas por artículo (normalizado) (30%)
  • Retorno Industrial (Industry Income). Mide el nivel de innovación (2,5%)
    • Retornos de la actividad investigadora desde el tejido industrial (2,5%)
  • Proyección internacional (International Outlook). Mide la internacionalización de estudiantes, plantilla y actividad investigadora (7.5%)
    • Ratio de personal extranjero / residente (2,5%)
    • Ratio de estudiantes extranjeros / residentes (2,5%)
    • Proporción de artículos publicados con co-autor(es) extranjeros (2,5%)

Para el lector curioso, existe una App disponible en el App Store para interactuar con el informe, personalizando el peso de cada grupo de parámetros o filtrando por región o países… La primera española -de las que solo hay 8 en toda la clasificación- aparece en la posición 139 (UPF); y no, la UPM ni siquiera aparece entre las 400 universidades clasificadas.

Por otro lado, este tipo de “métricas” me suscita la duda de si alguna vez sus diseñadores han pensado en asociarlas con un esfuerzo serio por implantar algún modelo de “métricas de aprendizaje” (Learning Analytics).El lector se habrá fijado en el hecho de que la enseñanza se limita a ponderar la clasificación de las instituciones objeto de estudio en poco menos de un tercio, mientras que la innovación no llega a suponer ni una décima parte del peso del índice considerado.

Pero ya sabemos que en la Red cada cual tiene su vara de medir: nuestro nunca bien ponderado CSIC hace tiempo que impulsara la creación de un índice “webométrico” de universidades a nivel mundial. Para este índice, que se llama así, ‘Webometrics, la unidad de análisis es el dominio institucional: solo se consideran universidades y centros de investigación con al menos un dominio web independiente.

El Factor de Impacto Web (Web Impact Factor, WIF) se mide como una combinación del número de enlaces externos entrantes (inlinks) con el número de páginas web de un dominio, siguiendo una relación uno a uno entre visibilidad y tamaño. Esta relación se usa para hacer el Ranking, añadiendo dos indicadores nuevos al componente del tamaño: el número de documentos, medido por el número de ficheros ricos que contiene un dominio web, y el número de publicaciones comprendidas en la base de datos del Google Académico (Google Scholar).

Parámetros incluidos en el WIF (peso en %)

  • Tamaño (Size) = número de páginas recuperadas desde Google (10%).
  • Visibilidad (Visibility) = número de enlaces externos recibidos (inlinks) x número de dominios que los originan, obtenidos de los datos históricos de Majestic SEO (50%).
  • Ficheros Ricos (Rich Files) = número de ficheros de los siguientes formatos recuperados por Google: Adobe Acrobat (.pdf), Adobe PostScript (.ps y .eps), Microsoft Word (.doc y .docx) y Microsoft Powerpoint (.ppt y .pptx). (10%).
  • Académico (Scholar) = número de artículos recuperados por Google Scholar (con fecha de publicación entre 2007 y 2011) y por Scimago IR (con fecha de publicación entre 2004 y 2008) (30%).

Pero, si hay que hablar de índices y clasificaciones de universidades, el índice por excelencia desde 2003 es el Academic Ranking of World Universities (ARWU), publicado por el Center for World-Class Universities y el Intitute of Higher Education of Shanghai Jiao Tong University China.

Vulgarmente conocido como “índice de Shanghai“, el ARWU utiliza seis indicadores cuantitativos (peso en %):

  • Calidad de la Educación (10%)
    • Alumni = número de antiguos alumnos y personal que ha ganado un premio Nóbel o una Medalla Fields (10%)
  • Calidad del personal académico (40%)
    • Award = Número de investigadores y académicos que ha ganado un premio Nóbel o una Medalla Fields (20%)
    • Highly Cited (HiCi) = Número de investigadores con un elevado índice de impacto según el índice de Thomson Scientific, en 21 categorías seleccionadas (20%)
  • Resultados de la Actividad Investigadora (40%)
    • Nature & Science (N&S) = Número de artículos publicados en las revistas Nature y Science (20%)
    • Publications (PUB) = Número de artículos indexados en Science Citation Index – Expanded y Social Sciences Citation Index (20%)
  • Rendimiento Per Capita (10%)
    • Per Capita Performance (PCP) = Rendimiento académico per capita (10%)

Este ranking es reconocido mundialmente por la simplicidad de los indicadores propuestos, su claridad, su fácil métrica y su indudable reputación a todos los niveles.

Pero a mi el que me ha gustado de verdad es la menos conocida clasificación que viene realizando hace ya unos pocos años (creo que un lustro) la Escuela de Minas de ParisTech. Esta gente, que son ingenieros, ha pensado que existen tres criterios básicos que van a definir el nivel de una institución de educación superior:

  • Salario y tiempo medio para colocarse de los egresados.
  • Posiciones de alta dirección alcanzadas por los graduados (a partir de la lista de los CEO del Fortune 500).
  • Actividad emprendedora (creación de empresas por parte de los antiguos alumnos).

A nadie se le escapa que la cuantificación de tales conjuntos de  datos es relativamente compleja, además de que su ponderación (por ejemplo en el caso de los salarios) exige la introducción de factores externos a veces de difícil disponibilidad, como puede ser el caso de la información relativa al tiempo necesario para alcanzar un puesto de dirección o las diferencias manifiestas entre un Director General de una empresa mediana y una multinacional.

Pero el caso es que, con el pragmatismo que caracteriza a los ingenieros que lo han parido, se han cogido la lista Forbes 500 y han clasificado a las instituciones (de grado, de posgrado, etc.) donde se han formado los CEO de esas organizaciones asignando una puntuación normalizada sencilla: 1 punto para la institución si solo se ha formado en una; y un reparto equitativo si han sido varias. Como curiosidad, la primera española (en el puesto 38) es la UPM, seguida (con un empate en el puesto 92) por la Universidad de Barcelona, la UCM y la de Navarra; la Pontificia de Comillas en el puesto 226 está seguida por Deusto, UPC, Valladolid y Zaragoza en el 229; y la EOI aparece en el puesto 349.

Twitter Digg Delicious Stumbleupon Technorati Facebook Email

No hay comentarios aún... ¡Se el primero en dejar una respuesta!

Dejar un Comentario