H2 tekst 1 - De (on)zin van rankings

Lijstjes en rangordes: we zijn er dol op. Ook in de wetenschappelijke wereld spelen ze een rol. In Leiden wordt jaarlijks de Leiden Ranking gemaakt van de vijfhonderd productiefste universiteiten wereldwijd. Wat is het nut van rankings en hoe komen ze tot stand? Paul Wouters, directeur van het Centrum voor Wetenschap en Technologische Studies (CWTS) en hoogleraar sciëntometrie, analyseert de rol van wetenschap in de samenleving. Dit bracht hem bij de Leiden Ranking. 'De focus van onze ranking is onderzoek. De Leiden Ranking is gebaseerd op objectieve gegevens over publicaties uit het web of science, niet op informatie die universiteiten zelf aanleveren. We kijken daarbij naar productie: hoeveel en op welke gebieden wordt gepubliceerd? We kijken naar impact: heeft de publicatie invloed gehad op andere onderzoekers? En we kijken naar samenwerking: tussen wetenschappers nationaal en internationaal en tussen wetenschap en bedrijfsleven. Uit de keuze van verschillende indicatoren komen verschillende volgordes. Wij zijn van mening dat er geen absolute rankings te maken zijn. De bekendste, wereldwijde lijst is de Shanghai Ranking. De Leiden Ranking is mede ontstaan uit onvrede daarover. 'De Shanghai Ranking presenteert zichzelf als een min of meer absolute ordening over onderzoek, onderwijs, geld, Nobelprijswinnaars et cetera', zegt Wouters. 'De indruk wordt gewekt dat dit een soort absolute maat is, maar daar geloven wij niet zo in. Er kán gewoon geen lijst zijn van wie de beste is, je kunt de verschillende rollen en dimensies van universiteiten niet samenvatten in één lijst. Wil je vergelijken, zorg dan dat je geen appels met peren vergelijkt. Onze scope is veel beperkter, maar daardoor zijn we beter in staat dat ene aspect objectief te beoordelen. We claimen ook niet dat je met deze lijst in handen moet bepalen waar je gaat studeren. Het nut van rankings is volgens Wouters vooral dat ze ondersteunende informatie bieden. 'Stel, je kunt als onderzoeker kiezen tussen een baan in Utrecht en een baan in Leiden. Dan zou ik ook kijken naar rankings, om een completer beeld te krijgen. Rankings zijn ook zeer geschikt om vragen op te roepen. 'Als een universiteit opeens flink stijgt of daalt, kun je gericht onderzoeken wat daarvan de oorzaak is. Wordt er minder geld gestoken in onderzoek? Heeft de instelling geïnvesteerd in een groot, riskant project waar in eerste instantie niet veel uit komt?' De makers van de Leiden Ranking constateren dat er een verschuiving gaande is. Wouters: 'De Verenigde Staten zijn al jarenlang dominant. Dat is onder meer een gevolg van de Tweede Wereldoorlog: veel talent vluchtte uit Duitsland naar de Verenigde Staten, na de oorlog werd de aantrekkingskracht nog versterkt. Het land is erg gericht op technologische innovatie en investeert ongelofelijk veel geld in universiteiten. De opkomst van nieuwe wetenschapsgebieden als China, Brazilië, India, Turkije en Iran is inmiddels ook zichtbaar, legt Wouters uit. 'De eerste indicator is dat het aantal publicaties stijgt; in eerste instantie is de invloed nog klein, maar we zijn er zeker van dat deze landen een grotere wetenschappelijke invloed gaan uitoefenen. Nederland doet het overigens nog steeds heel goed, met relatief weinig geld. Geen enkele Nederlandse universiteit staat in de top tien. Dat gaat ook niet gebeuren, daarvoor gaat niet genoeg geld naar onderzoek. Als je de Nederlandse universiteiten als een netwerk beschouwt, dan doen we het echter heel goed: geen uitschieters, maar een "hoogvlakte". Nederlandse wetenschappers werken heel hard en geven ook veel onderwijs. Ons systeem is lean and mean. We behoren tot de wereldtop in sterrenkunde, aidsonderzoek, darmonderzoek, zijn sterk in sociale wetenschappen, psychologie, sommige takken van wiskunde en geschiedschrijving. Tellen, meten... manipuleren? Rankings komen tot stand op basis van veel tellen, meten en wegen. Dat maakt ze vatbaar voor manipulatie en kritiek. Veel schrijven, vooral artikelen en geen boeken. Daar scoor je punten mee. "Ik citeer jou, jij citeert mij", levert ook wat op. Je naam aan de auteurs van andermans artikel toegevoegd zien beslist een persberichtje de deur uit. te krijgen. Zoeken naar de mediagenieke invalshoek waardoor je vaker geciteerd wordt. Rankings zijn manipuleerbaar en hebben een beperkte zeggingskracht over kwaliteit, daar is iedereen het over eens. Maar als een universiteit op een mooie plaats eindigt, gaat er toch beslist een persberichtje de deur uit.

Citaat van een citaat van een citaat Ludo Waltman is onderzoeker bij het Centrum voor Wetenschap en Technologische Studies en is de man achter de berekening van de Leiden Ranking. 'Dat is een uitdaging: je wilt een ranglijst die zo objectief en betrouwbaar mogelijk is. Dat betekent correcties toepassen op data zodat je kunt vergelijken: de ene universiteit is bijvoorbeeld veel sterker in sociale wetenschappen, terwijl de andere een groot medisch centrum heeft. In de medische wetenschap wordt veel meer gepubliceerd en geciteerd, dus hoe ga je die twee vergelijken? Een ander probleem is dat de meeste artikelen heel weinig citaties krijgen en dat er een paar extreme uitschieters zijn. Maar je wilt niet dat de ranglijst wordt aangevoerd door een universiteit die "toevallig" één zo'n artikel publiceert. De laatste tijd zijn er de nodige fraudezaken in de wetenschap in het nieuws geweest. Een dergelijk geval werd onlangs door de makers van de Leiden Ranking opgemerkt, vertelt Waltman. 'In de afzonderlijke lijst voor wiskunde en informatica kwam een Turkse universiteit opeens op de tweede plaats, net onder Stanford. Dat was al opmerkelijk. Toen kregen we een briefje uit Turkije: dit moet je niet vertrouwen. Dat was ook precies ons voorgevoel. Er bleek één onderzoeker heel veel te publiceren - het leek ook op plagiaat – en geciteerd te worden. Er was eigenlijk sprake van een citatiekartel waarbij onderzoekers elkaars werk overschreven en vervolgens over en weer citeerden. Een soort dubbele fraude dus: veel publiceren kun je in je eentje voor elkaar krijgen, maar om geciteerd te worden, heb je anderen nodig. Als makers van een ranglijst kunnen we geen definitief oordeel geven over zo'n kennelijk geval van fraude, maar de onderzoeker in kwestie schijnt inmiddels ontslagen te zijn! Bron: Leidraad magazine van de Universiteit Leiden, winter 2013/2014