Bookshelf

GOALS OF THE STUDY

The BSR Program of the NIA is the lead federal agency assigned the mission of supporting behavioral and social science research related to aging. Come descritto sul sito web della NIA (http://www.nia.nih.gov/ResearchInformation/ExtramuralPrograms/BehavioralAndSocialResearch/), il BSR concentra il suo sostegno alla ricerca sui seguenti argomenti:

• Come le persone cambiano durante la durata della vita adulta
• Interrelazioni tra persone anziane e istituzioni sociali
• L’impatto sociale del cambiamento della composizione per età della popolazione

Il sostegno del BSR ha sottolineato “(1) la dinamica interazione tra l’invecchiamento degli individui; (2) i loro ambienti biomedici, sociali e fisici che cambiano; e (3) le interazioni multilivello tra i livelli psicologico, fisiologico, sociale e culturale.” Nel perseguire i suoi obiettivi, “BSR sostiene la ricerca, la formazione e lo sviluppo di risorse e metodologie di ricerca per produrre una base di conoscenza scientifica per massimizzare la vita attiva e l’aspettativa di salute. Questa base di conoscenza è necessaria per una politica pubblica informata ed efficace, per la pratica professionale e per la vita quotidiana. BSR incoraggia anche la traduzione della ricerca comportamentale e sociale in applicazioni pratiche”. NIA spende la maggior parte dei suoi fondi in sovvenzioni e contratti.

BSR sta cercando di affrontare le sfide della valutazione della ricerca e della definizione delle priorità in modo esplicito e sistematico. Cerca di sviluppare procedure valide e difendibili per dare giudizi sui progressi e le prospettive delle attività scientifiche che sostiene a livello di linee o aree di ricerca. Cerca di identificare i fattori che contribuiscono alla scoperta in modo da avere una base più solida per allocare e riallocare i fondi tra i tipi di strumenti di finanziamento e i tipi di destinatari (ad esempio, sovvenzioni per progetti di ricerca rispetto ai programmi; sovvenzioni a individui rispetto a gruppi di ricerca; gruppi di ricerca disciplinari rispetto a quelli interdisciplinari).

Cerca procedure migliori per valutare il progresso scientifico e le prospettive e razionali più solide per allocare i fondi di ricerca incrementale tra le aree con una formula diversa dalla percentuale e, se necessario, per riassegnare i fondi di ricerca da un’area all’altra. Richiedendo questo studio, la BSR si è offerta come banco di prova per affrontare importanti questioni generiche di definizione delle priorità che sorgono in molte aree della politica scientifica del governo federale. Una di queste è come valutare al meglio la performance degli investimenti nella scienza quando alcuni degli obiettivi di questi investimenti sono difficili da quantificare (per esempio, migliorare la conoscenza, la qualità delle decisioni politiche o il benessere umano). Un altro è come confrontare le prestazioni di diversi tipi di investimenti quando l’agenzia sponsor ha obiettivi multipli e diverse linee di ricerca contribuiscono a obiettivi diversi.

Un terzo è come valutare il progresso e le prospettive di campi scientifici che differiscono sistematicamente nei loro obiettivi di base, metodi e fondamenti filosofici. Le scienze sociali e comportamentali esemplificano bene questo problema. Nonostante le tendenze molto discusse verso la consilienza tra i campi della scienza e la convergenza e la fertilizzazione incrociata tra le scienze comportamentali e sociali (per esempio, l’economia comportamentale), differenze significative nei fondamenti filosofici e nelle metodologie rimangono tra e anche all’interno di queste discipline (vedi, per esempio, Furner, 1975; Ross, 2003; Ash, 2003; Stigler, 1999).6 Queste differenze sono alla base della divisione storica delle scienze comportamentali e sociali in discipline e sottodiscipline, è improbabile che siano facilmente risolvibili, e servono come base per rivendicazioni competitive sul supporto fornito dagli sponsor della ricerca, come la BSR.7

Un quarto problema è l’effetto delle decisioni di definizione delle priorità da parte delle principali organizzazioni di finanziamento della ricerca sulla competizione tra discipline e dipartimenti nell’università di ricerca americana contemporanea. Le valutazioni dei campi scientifici a volte si intrecciano con le rivalità disciplinari. In effetti, la nostra valutazione evidenzia la sfida per la BSR di sganciare il suo problema o la sua missione sull’invecchiamento dalle rivendicazioni delle diverse discipline accademiche di “possedere” un particolare aspetto della ricerca sull’invecchiamento. Il progresso delle discipline, comunque misurato, non si traduce automaticamente in un progresso nei tipi di aree di indagine di maggiore interesse per la BSR o per programmi scientifici orientati a missioni simili. In questo rapporto, usiamo termini come “aree” o “campi” di ricerca in modo flessibile per riferirci ad argomenti o linee di indagine che possono essere definiti in modo appropriato sia da un problema che da una disciplina o sottodisciplina.

Le domande che BSR sta ponendo, specialmente sui confronti tra le diverse aree di ricerca delle scienze comportamentali e sociali che sostiene, hanno ricevuto sorprendentemente poca attenzione sistematica. Le agenzie di ricerca spesso si impegnano in seri sforzi per fissare le priorità, ma le valutazioni comparative delle linee di ricerca all’interno o tra i campi scientifici sono di solito affrontate indirettamente o implicitamente. Per esempio, al National Research Council è stato spesso chiesto di consigliare le agenzie federali sui criteri per fare tali valutazioni (per esempio, Institute of Medicine, 1998, 2004; Committee on Science, Engineering, and Public Policy, 2004; National Research Council, 2005c) o di identificare aree prioritarie per la ricerca tra una vasta gamma di possibilità in molte discipline (per esempio, Institute of Medicine, 1991; National Research Council, 2001b). Il metodo tipico per fornire una risposta comporta la creazione di un gruppo di esperti e chiedergli, spesso dopo aver considerato gli input sollecitati dalle comunità di ricerca pertinenti, di deliberare sulla questione in questione e arrivare a un giudizio di consenso che sia consultivo per i decisori rilevanti. Solo occasionalmente tali gruppi sono stati coscienti di sviluppare e applicare metodi espliciti per confrontare i campi in modo da stabilire delle priorità tra di loro (ad esempio, National Research Council, 2005a, 2005c).

I lavori accademici sulla valutazione della scienza e sul funzionamento dei gruppi di consulenza scientifica si sono concentrati su questioni un po’ diverse. Per esempio, c’è stata una considerevole ricerca empirica sul processo di revisione delle singole proposte di ricerca (per esempio, Cole, Rubin e Cole, 1978; Cole e Cole, 1981; Cole, Cole e Simon, 1981; Abrams, 1991; Blank, 1991; Wessely, 1996; Lamont e Mallard, 2005), e alcuni studi volti a comparare attività su scala più ampia di un singolo tipo, come i dipartimenti laureati nello stesso campo (per esempio National Research Council, 2003) o imprese di ricerca in un singolo campo ma in paesi diversi (per esempio, Committee on Science, Engineering, and Public Policy, 2000). Gli scienziati e gli analisti delle politiche scientifiche a volte fanno confronti tra campi di ricerca, ma raramente in modi che fornirebbero tecniche di decisione convalidate a un manager di programmi di ricerca. I membri delle comunità scientifiche a volte sono in disaccordo sulle priorità di ricerca delle agenzie federali, come evidenziato dai disaccordi riguardanti le priorità di bilancio che dovrebbero essere accordate al supercollisore superconduttore, l’enfasi relativa nella ricerca energetica tra la scoperta di nuove fonti di carburante o il miglioramento delle tecnologie di risparmio energetico, e la priorità relativa dell’esplorazione dello spazio con e senza equipaggio. Tuttavia, le comunità di ricerca in genere non cercano di risolvere tali disaccordi applicando metodologie formali di valutazione, come quelle dell’analisi costi-benefici o dell’analisi decisionale. Quando vengono poste sfide alla sostanza intellettuale o alla vitalità delle linee di ricerca, esse sono tipicamente dirette a quelle emergenti, in particolare quelle le cui basi concettuali o metodologiche si discostano marcatamente dai campi tradizionali – e sono focalizzate sugli attributi del campo in questione piuttosto che sulle tecniche di confronto.

Un’interessante eccezione recente a queste osservazioni è la ricerca empirica che sta cominciando ad indagare le caratteristiche dei programmi di ricerca interdisciplinari “di successo” in modi che potrebbero aiutare a costruire una base di conoscenza che potrebbe informare confronti sistematici di attività o organizzazioni sostanzialmente dissimili (ad es, Hollingsworth, 2003; Mansilla e Gardner, 2004; National Research Council, 2005b; Bruun et al., 2005; Boix-Mansilla et al., 2006; Feller, 2006). Analogamente, poiché le agenzie scientifiche federali promuovono attivamente iniziative di ricerca interdisciplinare, come nella Roadmap del NIH, stanno iniziando a sperimentare nuove procedure per fare valutazioni comparative della qualità delle proposte provenienti da campi diversi, compresa un’attenzione più deliberata alla creazione di panel di revisione composti da esperti di diverse discipline (Boix-Mansilla et al., 2006). Sebbene non sia direttamente inteso come un mezzo per valutare la vitalità scientifica di diversi campi o il loro contributo previsto a importanti obiettivi sociali, le delibere e le conclusioni di tali gruppi possono fornire spunti su come fare valutazioni comparative tra i campi.

BSR sta cercando metodi più sistematici per tali valutazioni, in parte a causa di un giudizio che i suoi gruppi consultivi interdisciplinari non hanno risposto alla questione della valutazione comparativa dei campi di ricerca con valutazioni che differenziano tra i campi in base alla probabilità di ritorno degli investimenti nella ricerca. Quando tale differenziazione è necessaria, BSR vuole modi validi per giustificare le sue raccomandazioni sulle priorità del programma e le selezioni delle proposte agli alti funzionari NIH, al Congresso e alle comunità di ricerca e stakeholder interessate.

L’obiettivo primario di questo rapporto è sulle questioni di valutazione comparativa a livello di aree o campi di ricerca scientifica. Non è interessato alla valutazione complessiva del portafoglio di ricerca BSR nel più ampio contesto del NIA o di altri istituti NIH. Né si occupa di confronti tra individui, progetti di ricerca o programmi universitari, anche se alcuni dei metodi che discutiamo sono stati applicati a questi livelli di analisi. Inoltre, il rapporto si concentra principalmente sulla ricerca comportamentale e sociale, anche se la sua analisi e le sue conclusioni possono essere applicabili alla ricerca in altre scienze. Infine, il rapporto si concentra sui bisogni di un’agenzia la cui missione include sia il progresso della conoscenza scientifica di base che la sua applicazione a un particolare obiettivo sociale: migliorare la salute e il benessere degli anziani. Un’agenzia con una tale duplice missione affronta un problema di valutazione più complesso di una la cui missione è limitata alla scienza pura o a specifiche applicazioni pratiche della scienza. In linea con la missione generale e le tradizioni di NIH, ha bisogno sia di aderire e far progredire gli standard del più alto merito scientifico sia di valutare i contributi dei campi della scienza, esistenti ed embrionali, per i loro potenziali contributi alle missioni generali di NIH.