Bookshelf

GOALS OF THE STUDY

Het BSR Programma van het NIA is het belangrijkste federale agentschap met als missie het ondersteunen van gedrags- en sociaalwetenschappelijk onderzoek met betrekking tot veroudering. Zoals beschreven op de NIA-website (http://www.nia.nih.gov/ResearchInformation/ExtramuralPrograms/BehavioralAndSocialResearch/), richt BSR zijn onderzoekssteun op de volgende onderwerpen:

• Hoe mensen veranderen tijdens het volwassen leven
• Interrelaties tussen ouderen en sociale instellingen
• De maatschappelijke impact van de veranderende leeftijdsopbouw van de bevolking

BSR-steun heeft de nadruk gelegd op “(1) de dynamische wisselwerking tussen de veroudering van individuen; (2) hun veranderende biomedische, sociale en fysieke omgeving; en (3) interacties op meerdere niveaus tussen psychologische, fysiologische, sociale en culturele niveaus.” Bij het nastreven van haar doelstellingen ondersteunt het BSR onderzoek, opleiding en de ontwikkeling van onderzoeksmiddelen en -methodologieën om een wetenschappelijke kennisbasis te produceren voor het maximaliseren van actief leven en gezondheidsverwachting. Deze kennisbasis is nodig voor een geïnformeerd en effectief openbaar beleid, beroepspraktijk en dagelijks leven. BSR stimuleert ook de vertaling van gedrags- en sociaal onderzoek naar praktische toepassingen”. Het NIA besteedt het grootste deel van zijn middelen aan subsidies en contracten.

BSR probeert de uitdagingen van onderzoeksbeoordeling en prioritering expliciet en systematisch aan te pakken. Zij tracht geldige en verdedigbare procedures te ontwikkelen om een oordeel te vellen over de vooruitgang en de vooruitzichten van de door haar gesteunde wetenschappelijke activiteiten op het niveau van onderzoekslijnen of -gebieden. Er wordt naar gestreefd de factoren die bijdragen tot ontdekking in kaart te brengen, zodat er een steviger basis is voor de toewijzing en hertoewijzing van middelen tussen de verschillende soorten financieringsinstrumenten en de verschillende soorten ontvangers (b.v. subsidies voor onderzoeksprojecten versus programma’s; subsidies aan individuen versus onderzoekgroepen; disciplinaire versus interdisciplinaire onderzoeksteams).

Er wordt gestreefd naar verbeterde procedures voor de beoordeling van de wetenschappelijke vooruitgang en vooruitzichten en naar een steviger motivering voor de toewijzing van middelen voor incrementeel onderzoek op andere gebieden dan een op percentages gebaseerde formule en, waar nodig, voor de hertoewijzing van middelen voor onderzoek van het ene gebied naar het andere. Door om deze studie te verzoeken heeft BSR zichzelf aangeboden als proefbank voor het aanpakken van belangrijke generieke prioriteringsvraagstukken die zich op vele gebieden van het wetenschapsbeleid van de federale overheid voordoen. Een van deze vragen is hoe de prestaties van investeringen in wetenschap het best kunnen worden beoordeeld wanneer sommige doelstellingen van deze investeringen moeilijk te kwantificeren zijn (b.v. verbetering van kennis, de kwaliteit van beleidsbeslissingen, of het welzijn van de mens). Een andere is hoe de prestaties van verschillende soorten investeringen te vergelijken wanneer het ondersteunende agentschap meerdere doelstellingen heeft en verschillende onderzoekslijnen bijdragen tot verschillende doelstellingen.

Een derde is hoe de vooruitgang en de vooruitzichten te beoordelen van wetenschappelijke gebieden die systematisch verschillen in hun basisdoelstellingen, methoden en filosofische grondslagen. De sociale en gedragswetenschappen zijn een goed voorbeeld van deze kwestie. Ondanks veelbesproken trends in de richting van consensus tussen wetenschapsgebieden en convergentie en kruisbestuiving tussen de gedrags- en sociale wetenschappen (bijv. gedragseconomie), blijven er aanzienlijke verschillen in filosofische onderbouwing en methodologieën tussen en zelfs binnen deze disciplines (zie bijv, Furner, 1975; Ross, 2003; Ash, 2003; Stigler, 1999).6 Deze verschillen liggen ten grondslag aan de historische verdeling van de gedrags- en sociale wetenschappen in disciplines en subdisciplines, zullen waarschijnlijk niet gemakkelijk worden opgelost, en dienen als basis voor concurrerende aanspraken op de steun van onderzoekssponsors, zoals BSR.7

Een vierde kwestie is het effect van prioriteringsbeslissingen van grote onderzoeksfinancieringsorganisaties op de concurrentie tussen disciplines en afdelingen in de hedendaagse Amerikaanse onderzoeksuniversiteit. Beoordelingen van wetenschappelijke gebieden raken soms verstrikt in disciplinaire rivaliteiten. Onze beoordeling benadrukt de uitdaging voor het BSR om zijn probleem- of taakgerichtheid op veroudering los te koppelen van de aanspraken van verschillende academische disciplines om een bepaald facet van het onderzoek naar veroudering te “bezitten”. De vooruitgang van disciplines, hoe die ook wordt gemeten, vertaalt zich niet automatisch in vooruitgang op de onderzoeksgebieden die voor het BSR of soortgelijke opdrachtgerichte wetenschappelijke programma’s het belangrijkst zijn. In dit rapport gebruiken we termen als onderzoeks “gebieden” of “velden” flexibel om te verwijzen naar onderwerpen of lijnen van onderzoek die even geschikt kunnen worden gedefinieerd door een probleem als door een discipline of subdiscipline.

De vragen die BSR stelt, vooral over de vergelijkingen tussen de verschillende gebieden van gedrags- en sociaalwetenschappelijk onderzoek die het ondersteunt, hebben verrassend weinig systematische aandacht gekregen. Onderzoeksagentschappen doen vaak serieuze pogingen om prioriteiten te stellen, maar vergelijkende beoordelingen van onderzoekslijnen binnen of over wetenschappelijke gebieden heen worden gewoonlijk indirect of impliciet benaderd. De National Research Council is bijvoorbeeld vaak gevraagd om federale agentschappen te adviseren over criteria voor het maken van dergelijke beoordelingen (bv. Institute of Medicine, 1998, 2004; Committee on Science, Engineering, and Public Policy, 2004; National Research Council, 2005c) of om prioritaire gebieden voor onderzoek aan te wijzen uit een brede waaier van mogelijkheden in vele disciplines (bv. Institute of Medicine, 1991; National Research Council, 2001b). De typische methode voor het geven van een antwoord bestaat erin een groep van deskundigen samen te stellen en deze te vragen, vaak na bestudering van de input die uit de relevante onderzoeksgemeenschappen is gevraagd, over de vraag in kwestie te beraadslagen en tot een consensusoordeel te komen dat aan de relevante besluitvormers wordt geadviseerd. Slechts af en toe zijn dergelijke groepen zelfbewust bezig geweest met het ontwikkelen en toepassen van expliciete methoden voor het vergelijken van vakgebieden om daartussen prioriteiten te stellen (bijv. National Research Council, 2005a, 2005c).

Scholair werk over de beoordeling van wetenschap en het functioneren van wetenschappelijke adviespanels heeft zich op enigszins andere vragen gericht. Er is bijvoorbeeld veel empirisch onderzoek gedaan naar het proces van beoordeling van individuele onderzoeksvoorstellen (bv. Cole, Rubin, en Cole, 1978; Cole en Cole, 1981; Cole, Cole, en Simon, 1981; Abrams, 1991; Blank, 1991; Wessely, 1996; Lamont en Mallard, 2005), en sommige studies gericht op het vergelijken van grootschaliger activiteiten van één type, zoals afgestudeerde afdelingen op hetzelfde gebied (bv, National Research Council, 2003) of onderzoeksbedrijven in één vakgebied maar in verschillende landen (bv. Committee on Science, Engineering, and Public Policy, 2000). Wetenschappers en wetenschapsbeleidanalisten maken soms vergelijkingen tussen onderzoeksgebieden, maar zelden op een manier die een onderzoeksprogrammamanager van gevalideerde besluitvormingstechnieken zou voorzien. Leden van wetenschappelijke gemeenschappen zijn het soms oneens over onderzoeksprioriteiten van federale agentschappen, zoals blijkt uit meningsverschillen over de budgettaire prioriteiten die moeten worden toegekend aan de supergeleidende supercollider, de relatieve nadruk in energieonderzoek tussen het ontdekken van nieuwe brandstofbronnen of het verbeteren van energiebesparende technologieën, en de relatieve prioriteit van bemande en onbemande ruimte-exploratie. Onderzoeksgemeenschappen proberen dergelijke meningsverschillen echter meestal niet op te lossen door formele beoordelingsmethoden toe te passen, zoals die van de baten-kostenanalyse of de besluitvormingsanalyse. Wanneer de intellectuele substantie of vitaliteit van onderzoekslijnen wordt betwist, zijn deze meestal gericht op nieuw opkomende lijnen, met name die waarvan de conceptuele of methodologische onderbouwing duidelijk afwijkt van de mainstream-gebieden – en ze zijn eerder gericht op kenmerken van het veld in kwestie dan op vergelijkingstechnieken.

Een interessante recente uitzondering op deze observaties is empirisch onderzoek dat de kenmerken van “succesvolle” interdisciplinaire onderzoeksprogramma’s begint te onderzoeken op manieren die kunnen helpen bij het opbouwen van een kennisbasis die kan dienen als basis voor systematische vergelijkingen van inhoudelijk ongelijksoortige activiteiten of organisaties (bijv, Hollingsworth, 2003; Mansilla and Gardner, 2004; National Research Council, 2005b; Bruun et al., 2005; Boix-Mansilla et al., 2006; Feller, 2006). Naarmate federale wetenschapsagentschappen interdisciplinaire onderzoeksinitiatieven actief bevorderen, zoals in de NIH Roadmap, beginnen zij te experimenteren met nieuwe procedures voor het maken van vergelijkende beoordelingen van de kwaliteit van voorstellen uit verschillende vakgebieden, met inbegrip van meer doelbewuste aandacht voor het samenstellen van beoordelingspanels bestaande uit deskundigen uit verschillende disciplines (Boix-Mansilla et al., 2006). Hoewel niet direct bedoeld als middel om de wetenschappelijke vitaliteit van verschillende gebieden of hun verwachte bijdrage aan belangrijke maatschappelijke doelstellingen te beoordelen, kunnen de beraadslagingen en conclusies van dergelijke panels inzicht verschaffen in de wijze waarop vergelijkende beoordelingen tussen gebieden kunnen worden gemaakt.

BSR zoekt naar meer systematische methoden voor dergelijke beoordelingen, deels vanwege het oordeel dat zijn interdisciplinaire adviespanels niet hebben gereageerd op de kwestie van vergelijkende beoordeling van onderzoeksgebieden met beoordelingen die tussen gebieden differentieerden op basis van de waarschijnlijkheid van het rendement van onderzoeksinvesteringen. Wanneer een dergelijke differentiatie nodig is, wil BSR geldige manieren om zijn aanbevelingen over programmaprioriteiten en de selectie van voorstellen te rechtvaardigen tegenover hoge NIH-functionarissen, het Congres en de betrokken belanghebbenden en onderzoeksgemeenschappen.

De primaire focus van dit rapport ligt op kwesties van vergelijkende beoordeling op het niveau van gebieden of velden van wetenschappelijk onderzoek. Het houdt zich niet bezig met de algemene beoordeling van de onderzoeksportefeuille van het BSR in de ruimere context van het NIA of andere NIH-instituten. Evenmin gaat het om vergelijkingen tussen individuen, onderzoeksprojecten of universitaire programma’s, ook al zijn sommige van de besproken methoden op deze analyseniveaus toegepast. Ook is het rapport in de eerste plaats gericht op gedragswetenschappelijk en sociaal onderzoek, hoewel de analyse en de conclusies ervan ook van toepassing kunnen zijn op onderzoek in andere wetenschappen. Tenslotte is het rapport gericht op de behoeften van een agentschap waarvan de missie zowel de bevordering van fundamentele wetenschappelijke kennis omvat als de toepassing daarvan op een bepaald maatschappelijk doel: de verbetering van de gezondheid en het welzijn van ouderen. Een agentschap met een dergelijke tweeledige opdracht heeft te maken met een complexer beoordelingsprobleem dan een agentschap waarvan de opdracht beperkt is tot zuivere wetenschap of tot specifieke praktische toepassingen van de wetenschap. In overeenstemming met de algemene missie en tradities van het NIH moet het zowel normen van de hoogste wetenschappelijke verdienste aanhangen en bevorderen als de bijdragen van bestaande en embryonale wetenschapsgebieden beoordelen op hun potentiële bijdragen aan de overkoepelende missies van het NIH.