Door Bij Nader Inzien (redactie)
Door:Marcus Düwell (hoogleraar Universiteit Utrecht, voorzitter Disciplineoverleg Wijsbegeerte (DWB)), Frans de Haas (hoogleraar Universiteit Leiden, vanaf 1 januari 2019 wetenschappelijk directeur OZSW), en Anthonie Meijers (hoogleraar Technische Universiteit Eindhoven, voorzitter bestuur OZSW)
Deze week heeft de Onderzoeksschool Wijsbegeerte het document “Kwaliteitsindicatoren voor de Filosofie” op de website van de OZSW geplaatst waar meerdere jaren aan is gewerkt en waar zo’n 75 Nederlandse filosofen aan hebben bijgedragen. Sommigen zullen zich vertwijfeld afvragen waarom er weer zo’n bureaucratische actie op touw is gezet, terwijl anderen de standaardisering van kwaliteitsbeoordeling in de filosofie naïef zullen vinden en zelfs schadelijk voor de discipline, of het gewoon betreuren dat hun favoriete tijdschrift niet op een van de lijsten staat. Hiervoor hebben wij begrip. Maar als degenen die aan het proces de laatste jaren leiding hebben gegeven, lijkt het ons belangrijk om stil te staan bij de vraag waarom wij denken dat ondanks allerlei bezwaren dit toch een grote en goede stap vooruit is voor de Nederlandse filosofie. Ook willen wij terugkijken op het proces.
Kwaliteitsbeoordeling hoort bij wetenschap. Dat is geen inzicht dat pas in het tijdsperk van competitieve middelenverdeling is ontstaan. Het is intrinsiek aan wetenschappelijke processen dat wij oordelen vormen over de kwaliteit van wetenschappelijke argumenten, teksten en theorieën. Er is goed en minder goed wetenschappelijk onderzoek. Daarnaast mag een maatschappij die wetenschappelijk onderzoek financiert verwachten dat over de kwaliteit van dat onderzoek rekenschap wordt afgelegd. En onafhankelijk van de vraag hoe je wetenschap organiseert mag eenieder redelijkerwijs verwachten (en zelfs hopen) dat bij de middelenbesteding in de wetenschap kwaliteit leidend is. Dus ook diegene die eraan twijfelt of het huidige systeem van NWO en Horizon 2020 het beste van alle mogelijke systemen is, moet kunnen instemmen met het idee dat wij criteria voor goede wetenschapsbeoefening hebben en die kunnen expliciteren. Ook in de filosofie.
De laatste decennia zijn er kwaliteitsindicatoren voor de natuurwetenschappen en de medische wetenschappen ontwikkeld, die voor een groot deel van de filosofie (en andere geesteswetenschappen) problematisch zijn. De H-Index is daar een voorbeeld daarvan. Het is een bibliometrisch instrument dat de kwaliteit van een wetenschapper beoordeelt aan de hand van het aantal citaties van zijn of haar wetenschappelijke artikelen. Een H-index van 10 betekent dat een auteur 10 artikelen heeft waarbij elk artikel minstens 10 keer is geciteerd. Daarbij is het evident dat de H-Index afhankelijk is van de grootte van het relevante wetenschappelijke veld.
Een familiesocioloog bijvoorbeeld heeft niet alleen een grote eigen discipline (sociologie), maar ook zijn pedagogen, psychologen, juristen mogelijk in zijn publicaties geïnteresseerd. Publicaties in de logica daarentegen zijn alleen al vanwege de grote dichtheid aan formules slechts voor een kleine kring van lezers toegankelijk, terwijl deze publicaties misschien indirect en op lange termijn een enorme impact kunnen hebben op de ontwikkelingen in de informatica. Of neem een filosofiehistorica die meerdere decennia met editie-werk van een grote filosoof bezig is. Haar publicaties over allerlei editieproblemen zijn alleen maar voor een kleine kring van mederedacteuren interessant, terwijl de hele filosofische wereld er baat bij heeft als er aan het eind van de rit een excellente editie bestaat. Al deze collega’s zullen een rampzalige H-index hebben in vergelijking met de familiesocioloog, maar met kwaliteit heeft dit niets te maken. Deze voorbeelden laten zien dat bibliometrische indicatoren als een H-index nooit tussen disciplines kunnen worden vergeleken, maar ook dat ze heel gevoelig zijn voor de afbakening van een wetenschappelijke (sub)discipline, voor citatiegewoontes (Aristoteles is waarschijnlijk nog steeds een van de meest geciteerde auteurs in de praktische filosofie), en voor de betrouwbare indexering van tijdschriften en boeken (inclusief het vastleggen van citaties).
De onbruikbaarheid van natuurwetenschappelijke kwaliteitsindicatoren voor de Geesteswetenschappen heeft geleid tot de instelling van de Commissie Algra, die in 2011 een KNAW rapport heeft gepubliceerd “Kwaliteitsindicatoren voor onderzoek in de Geesteswetenschappen” (link). Daarin is nagedacht over de vraag hoe de kwaliteit van onderzoek in de Geesteswetenschappen beoordeeld moet worden en welke indicatoren daarvoor überhaupt bruikbaar zijn. De belangrijkste uitkomst is dat een pluraliteit van indicatoren nodig is om de kwaliteit van het onderzoek te kunnen beoordelen.
Relevant daarbij zijn twee gezichtspunten. 1) Deze indicatoren kunnen per vakgebied verschillen: in sommigen gebieden spelen boeken een centrale rol, in anderen tijdschriftenartikelen; in sommige gebieden bestaan hybride publicaties die niet alleen voor wetenschappelijke collega’s maar ook voor maatschappelijke groepen relevant zijn; soms is Engels de enige publicatietaal, soms wordt in meerdere talen gepubliceerd. 2) Er is geen enkele mogelijkheid om bij de toepassing van deze indicatoren alleen maar kwantitatief te werk te gaan en louter de hoeveelheid publicaties te tellen en tijdschriften te ranken op impactfactor. De droom van sommige bureaucraten dat men kwaliteitsbeoordeling het beste door een goed algoritme kan laten uitvoeren, is hiermee definitief van tafel geveegd: het menselijk oordeelsvermogen kan eo ipso niet vervangen worden.
Deze inzichten zijn in minstens twee opzichten bevrijdend. Enerzijds wordt duidelijk dat binnen de Geesteswetenschappen een argumentatief discours over wetenschappelijke kwaliteit mogelijk is dat niet gereduceerd kan worden tot wijze oude mannen die roepen dat men toch gewoon ziet of iets goed of slecht is. Anderzijds kan kwaliteitsbeoordeling niet simpel worden afgeleid uit H-Indices en soortgelijke kwantitatieve indicatoren. Dit laatste inzicht wordt inmiddels breed gedeeld. De San Francisco Declaration on Research Assessment (2012) en de Leiden Manifesto for Research Metrics (2015), roepen op om bibliometrische factoren verantwoord te gebruikten, d.w.z. als ondersteunend voor kwaliteitsoordelen en niet als vervangend daarvoor. NWO en de European Research Council hebben de San Francisco verklaring ondertekend, samen met meer dan 800 onderzoeksorganisaties.
Als vervolg op de commissie Algra is besloten om voor alle Geesteswetenschappen discipline-specifieke kwaliteitsindicatoren te gaan formuleren (link). Dit heeft voor de filosofie geresulteerd in het zojuist gepubliceerde document. Het document probeert aan alle delen van de filosofie recht te doen, rekening te houden met de verschillen in publicatie-cultuur tussen logica, antieke filosofie en bio-ethiek, ruimte te geven aan analytische en continentale benaderingen, en Engels niet als enig mogelijke voertaal voor filosofisch denken te beschouwen.
Een belangrijke uitkomst is dat een aantal kwaliteitsindicatoren relevant zijn voor alle sub-disciplines in de filosofie. Bijvoorbeeld monografieën, of de lijst van university presses die boeken van goede kwaliteit publiceren. De verschillen spitsen zich toe op de tijdschriften, die vaak specifiek zijn voor de sub-disciplines van de filosofie (maar er zijn natuurlijk in de filosofie ook belangrijke algemene tijdschriften). Een belangrijke disclaimer is dat bij het maken van de tijdschriftenlijsten op geen enkele manier geprobeerd is om volledig te zijn, want dat kan gewoon niet in een vakgebied als de filosofie. De tijdschriftenlijsten die in het document zijn opgenomen zijn bedoeld als goede voorbeelden van kwaliteit en als zodanig kunnen ze richting geven aan discussies over kwaliteit.
Onze kwaliteitsindicatoren maken deel uit van een langlopend landelijk project in de Geesteswetenschappen, waarbij het uitgangspunt is dat we moeten leren van de toepassing van deze indicatoren. Dat proces wordt gecoördineerd door het landelijke autorisatiepanel (link). De functie hiervan is tweevoudig.
Ten eerste om ruimte te scheppen voor de verdere ontwikkeling van de instrumenten, want het is evident dat wij onze kwaliteitsindicatoren als een dynamisch instrument zien dat zich moet ontwikkelen op basis van ervaringen. De inbedding in de landelijke structuur kan ervoor zorgen dat we binnen de Geesteswetenschappen van elkaar kunnen leren, waarbij het uitgangspunt is dat de disciplines zelfstandig zijn. Suggesties voor verdere ontwikkeling van de kwaliteitsindicatoren kunnen worden doorgegeven aan het domeinpanel voor filosofie, dat bestaat uit de Kamervoorzitters van de OZSW, de wetenschappelijk directeur en de voorzitter van het Schoolbestuur OZSW.
Ten tweede, – en dat is belangrijker – om ervoor te zorgen dat deze kwaliteitsindicatoren ook breed gebruikt gaan worden. Bijvoorbeeld bij de aanname of bevordering van wetenschappelijk personeel, door NWO bij de beoordeling van onderzoeksvoorstellen, of bij onderzoeksvisitaties. De eerste effecten kan men al zien. Alle NWO-commissies zijn gehouden om bij de selectieprocessen rekening te houden met de diversiteit van onderzoeksculturen en de daaraan gekoppelde kwaliteitsindicatoren. Dat maakt ons veel minder kwetsbaar als het om vergelijking tussen disciplines gaat. Bij sommige NWO-instrumenten staat nu bijv. expliciet aangegeven dat wetenschappers gevraagd wordt om geen H-Index te vermelden.
Maar nogmaals: wij zien de publicatie van kwaliteitsindicatoren voor de filosofie als een stap in een kwaliteitsdiscussie die verder moet gaan. Wij hopen dat dit instrument in de komende jaren door gebruik en kritische input van onderzoekers verder wordt ontwikkeld en verbeterd. Daarin heeft de OZSW een belangrijke rol te spelen. En wij hopen dat de Nederlandse kwaliteitsdiscussie binnen de geesteswetenschappen ook op Europees niveau effect zal hebben en tot een meer reflexieve vorm van kwaliteitsbeoordeling zal leiden.
Het nu gepubliceerde document is in twee opzichten een grote stap vooruit in de discussie over kwaliteit: ten eerste door de erkenning dat de discipline zelf aan het stuur moet staan bij de kwaliteitsbeoordeling van haar onderzoek en dat de bepaling van wat goede wetenschap is niet op basis van de kwaliteitsindicatoren van andere dominante disciplines kan gebeuren; en ten tweede door de erkenning dat een oordeel over de kwaliteit van onderzoek of mensen een complex oordeel is, waarin een pluraliteit van kwaliteitsindicatoren in een context geplaatst en gewogen moeten worden.
Kwaliteitsbeoordeling hoort bij wetenschap stellen de auteurs van dit stuk. Het is ontegenzeggelijk zo dat in elke wetenschap de uitingen van onderzoeken en denken worden beoordeeld. Wetenschap is uit de aard der zaak een kritische, dat wil zeggen, een onderscheidende activiteit. Dat is echter niet hetzelfde als de beoordeling van ‘kwaliteit’, aangezien dit een boekhoudkundige notie is. Kwaliteit in audits is per definitie iets dat zich laat tellen, omdat audits nu eenmaal alleen over het telbare gaan. Het blijkt ook uit de lijst van kwaliteitsindicatoren: deze is onvermijdelijk formeel en stelt ‘kwaliteit’ gelijk aan zaken als plaats van publicatie alsof daar geen zaken als vriendjespolitiek, ancienniteit en, heel eenvoudig, mode een rol in spelen. (Mode wordt in de huidige wetenschap overigens gemeenlijk aangeduid als ‘onderzoeksprogramma’. Wie buiten zo’n programma valt is niet modieus en doet dus gewoon niet mee: hij of zij komt niet in de “gezaghebbende” tijdschriften en hij komt ook niet langs de leescomité’s van “gezaghebbende uitgeverijen.) De auteurs doen smalend over het idee dat ‘wijze oude mannen gewoon zien of iets goed is’ en vervangen het door het idee dat het afvinken van lijstjes toch gewoon laat zien of iets goed is. Dat zij dit ook nog doen in een halfgeletterd bureaucraten-Engels bevestigt alleen maar het vermoeden dat de opstellers ook bureaucraten geworden zijn.
Dat laatste is eigenlijk het ergste. De opstellers van deze indicatoren (ik kan me er maar moeilijk toe zetten het woord op te schrijven) hebben gebogen voor een logica die wezensvreemd is aan de wetenschap, die een autonome bezigheid is. In de filosofie heeft deze autonomie een bijzonder kenmerk, namelijk dat zij zich niet verdraagt met de notie van een onderzoeksprogramma of paradigma. De filosofie ondervraagt per definitie paradigma’s. Aangezien de huidige academische filosofie zich nog bijna uitsluitend in paradigma’s beweegt maakt zij zichzelf daarmee het doen van filosofie onmogelijk. (Wie denkt dat ik hier onzin beweer moet bij wijze van spreken eens proberen om, ik noem maar wat, een kritisch artikel over Daniel Dennett in The Journal of Dennett-Studies te krijgen.) Door mee te werken aan de meet- en rekenschapscultuur van organisaties als NWO (waarbij ik cultuur in antropologische zin begrijp) trekken de hooggeleerde heren Düwell, De Haas en Meijers de strop om de hals van de filosofie alleen nog maar een beetje meer aan.