Bookshelf

Objetivos del estudio

El Programa BSR del NIA es la principal agencia federal que tiene asignada la misión de apoyar la investigación en ciencias sociales y del comportamiento relacionada con el envejecimiento. Como se describe en el sitio web del NIA (http://www.nia.nih.gov/ResearchInformation/ExtramuralPrograms/BehavioralAndSocialResearch/), el BSR centra su apoyo a la investigación en los siguientes temas:

• Cómo cambian las personas durante la vida adulta
• Las relaciones entre las personas mayores y las instituciones sociales
• El impacto social de la composición cambiante de la edad de la población

El apoyo de la BSR ha enfatizado «(1) la interacción dinámica entre el envejecimiento de los individuos; (2) sus cambiantes entornos biomédicos, sociales y físicos; y (3) las interacciones multinivel entre los niveles psicológico, fisiológico, social y cultural.» Para lograr sus objetivos, «BSR apoya la investigación, la formación y el desarrollo de recursos y metodologías de investigación para producir una base de conocimiento científico que permita maximizar la vida activa y la esperanza de salud. Esta base de conocimientos es necesaria para una política pública informada y eficaz, la práctica profesional y la vida cotidiana. La BSR también fomenta la traducción de la investigación social y del comportamiento en aplicaciones prácticas». El NIA gasta la mayor parte de sus fondos en subvenciones y contratos.

El BSR trata de abordar los retos de la evaluación de la investigación y el establecimiento de prioridades de forma explícita y sistemática. Intenta desarrollar procedimientos válidos y defendibles para emitir juicios sobre el progreso y las perspectivas de las actividades científicas que apoya a nivel de líneas o áreas de investigación. Busca identificar los factores que contribuyen a los descubrimientos para tener una base más firme para asignar y reasignar fondos entre tipos de instrumentos de financiación y tipos de receptores (por ejemplo, subvenciones para proyectos de investigación frente a programas; subvenciones a individuos frente a grupos de investigación; equipos de investigación disciplinares frente a interdisciplinares).

Busca procedimientos mejorados para evaluar el progreso y las perspectivas científicas y fundamentos más firmes para asignar fondos de investigación incrementales entre áreas con una fórmula distinta a la basada en porcentajes y, en su caso, para reasignar fondos de investigación de un área a otra. Al solicitar este estudio, el BSR se ha ofrecido como banco de pruebas para abordar importantes cuestiones genéricas de fijación de prioridades que se plantean en muchos ámbitos de la política científica del gobierno federal. Una de ellas es cómo evaluar mejor el rendimiento de las inversiones en ciencia cuando algunos de los objetivos de esas inversiones son difíciles de cuantificar (por ejemplo, mejorar el conocimiento, la calidad de las decisiones políticas o el bienestar humano). Otra es cómo comparar el rendimiento de diferentes tipos de inversiones cuando la agencia patrocinadora tiene múltiples objetivos y diferentes líneas de investigación contribuyen a diferentes objetivos.

Una tercera es cómo evaluar el progreso y las perspectivas de los campos científicos que difieren sistemáticamente en sus objetivos básicos, métodos y fundamentos filosóficos. Las ciencias sociales y del comportamiento ejemplifican bien esta cuestión. A pesar de las tendencias muy discutidas hacia la consiliencia entre los campos de la ciencia y la convergencia y la fertilización cruzada entre las ciencias sociales y del comportamiento (por ejemplo, la economía del comportamiento), siguen existiendo diferencias significativas en los fundamentos filosóficos y las metodologías entre estas disciplinas e incluso dentro de ellas (véase, por ejemplo, Furner, 1975; Ross, 2003; Ash, 2003; Stigler, 1999).6 Estas diferencias subyacen a la división histórica de las ciencias sociales y del comportamiento en disciplinas y subdisciplinas, es poco probable que se resuelvan fácilmente, y sirven de base para las reclamaciones competitivas sobre el apoyo proporcionado por los patrocinadores de la investigación, como BSR.7

Una cuarta cuestión son los efectos de las decisiones de establecimiento de prioridades por parte de las principales organizaciones de financiación de la investigación sobre la competencia entre disciplinas y departamentos en la universidad de investigación estadounidense contemporánea. Las evaluaciones de los campos científicos a veces se ven envueltas en rivalidades disciplinarias. De hecho, nuestra evaluación pone de relieve el reto que supone para la BSR desvincular su enfoque de problema o misión sobre el envejecimiento de las reivindicaciones de las diferentes disciplinas académicas de «poseer» una faceta concreta de la investigación sobre el envejecimiento. El progreso de las disciplinas, independientemente de cómo se mida, no se traduce automáticamente en un progreso en los tipos de áreas de investigación que más interesan a BSR o a programas científicos orientados a misiones similares. En este informe, utilizamos términos como «áreas» o «campos» de investigación de forma flexible para referirnos a temas o líneas de investigación que pueden estar definidos tanto por un problema como por una disciplina o subdisciplina.

Las preguntas que se plantea BSR, especialmente sobre las comparaciones entre las diversas áreas de investigación en ciencias sociales y del comportamiento que apoya, han recibido sorprendentemente poca atención sistemática. Las agencias de investigación suelen realizar esfuerzos serios para establecer prioridades, pero las evaluaciones comparativas de las líneas de investigación dentro de los campos científicos o entre ellos suelen abordarse de forma indirecta o implícita. Por ejemplo, a menudo se ha pedido al Consejo Nacional de Investigación que asesore a los organismos federales sobre los criterios para realizar dichas evaluaciones (por ejemplo, Instituto de Medicina, 1998, 2004; Comité de Ciencia, Ingeniería y Política Pública, 2004; Consejo Nacional de Investigación, 2005c) o que identifique las áreas prioritarias para la investigación entre una amplia gama de posibilidades en muchas disciplinas (por ejemplo, Instituto de Medicina, 1991; Consejo Nacional de Investigación, 2001b). El método típico para dar una respuesta consiste en crear un grupo de expertos y pedirles, a menudo tras considerar las aportaciones solicitadas a las comunidades de investigación pertinentes, que deliberen sobre la cuestión en cuestión y lleguen a un juicio consensuado que sea consultivo para los responsables de la toma de decisiones. Sólo ocasionalmente estos grupos han sido conscientes de desarrollar y aplicar métodos explícitos para comparar campos con el fin de establecer prioridades entre ellos (por ejemplo, National Research Council, 2005a, 2005c).

Los trabajos académicos sobre la evaluación de la ciencia y el funcionamiento de los paneles de asesoramiento científico se han centrado en cuestiones algo diferentes. Por ejemplo, ha habido una considerable investigación empírica sobre el proceso de revisión de propuestas de investigación individuales (por ejemplo, Cole, Rubin y Cole, 1978; Cole y Cole, 1981; Cole, Cole y Simon, 1981; Abrams, 1991; Blank, 1991; Wessely, 1996; Lamont y Mallard, 2005), y algunos estudios dirigidos a comparar actividades a mayor escala de un mismo tipo, como departamentos de postgrado en el mismo campo (por ejemplo, National Research Council, 2003) o empresas de investigación en un mismo campo pero en diferentes países (por ejemplo, Committee on Science, Engineering, and Public Policy, 2000). Los científicos y los analistas de política científica hacen a veces comparaciones entre campos de investigación, pero rara vez de forma que proporcionen técnicas de decisión validadas a un gestor de programas de investigación. Los miembros de las comunidades científicas discrepan a veces sobre las prioridades de investigación de las agencias federales, como demuestran los desacuerdos sobre las prioridades presupuestarias que deberían concederse al supercolisionador superconductor, el énfasis relativo en la investigación energética entre el descubrimiento de nuevas fuentes de combustible o la mejora de las tecnologías de ahorro de energía, y la prioridad relativa de la exploración espacial tripulada y no tripulada. Sin embargo, las comunidades de investigación no suelen intentar resolver estos desacuerdos aplicando metodologías de evaluación formales, como las del análisis beneficio-coste o de decisión. Cuando se cuestiona la sustancia intelectual o la vitalidad de las líneas de investigación, normalmente se dirigen a las que acaban de surgir, especialmente a aquellas cuyos fundamentos conceptuales o metodológicos se desvían notablemente de los campos principales, y se centran en los atributos del campo en cuestión más que en las técnicas de comparación.

Una interesante excepción reciente a estas observaciones es la investigación empírica que está comenzando a investigar las características de los programas de investigación interdisciplinarios «exitosos» de manera que podría ayudar a construir una base de conocimientos que podría informar las comparaciones sistemáticas de actividades u organizaciones sustancialmente disímiles (por ejemplo, Hollingsworth, 2003; Mansilla y Gardner, 2004; National Research Council, 2005b; Bruun et al., 2005; Boix-Mansilla et al., 2006; Feller, 2006). En relación con esto, a medida que las agencias científicas federales promueven activamente las iniciativas de investigación interdisciplinar, como en la hoja de ruta de los NIH, están empezando a experimentar con nuevos procedimientos para realizar evaluaciones comparativas de la calidad de las propuestas de diferentes campos, incluyendo una atención más deliberada al establecimiento de paneles de revisión compuestos por expertos de diferentes disciplinas (Boix-Mansilla et al., 2006). Aunque no se pretende directamente evaluar la vitalidad científica de los distintos campos o su contribución prevista a objetivos sociales importantes, las deliberaciones y conclusiones de dichos grupos pueden aportar ideas sobre cómo realizar evaluaciones comparativas entre campos.

La BSR está buscando métodos más sistemáticos para dichas evaluaciones, en parte debido a la opinión de que sus grupos consultivos interdisciplinarios no han respondido a la cuestión de la evaluación comparativa de los campos de investigación con evaluaciones que diferencien entre campos según la probabilidad de rendimiento de las inversiones en investigación. Cuando dicha diferenciación es necesaria, BSR desea contar con medios válidos para justificar sus recomendaciones sobre las prioridades de los programas y la selección de propuestas ante los altos funcionarios de los NIH, el Congreso y las comunidades de investigadores y partes interesadas afectadas.

El enfoque principal de este informe se centra en cuestiones de evaluación comparativa a nivel de áreas o campos de investigación científica. No se trata de la evaluación general de la cartera de investigación de los BSR en el contexto más amplio del NIA o de otros institutos de los NIH. Tampoco se ocupa de las comparaciones entre individuos, proyectos de investigación o programas universitarios, aunque algunos de los métodos que comentamos se han aplicado en estos niveles de análisis. Además, el informe se centra principalmente en la investigación social y del comportamiento, aunque sus análisis y conclusiones pueden ser aplicables a la investigación en otras ciencias. Por último, el informe se centra en las necesidades de una agencia cuya misión incluye tanto el avance del conocimiento científico básico como su aplicación a un objetivo social concreto: mejorar la salud y el bienestar de las personas mayores. Un organismo con esta doble misión se enfrenta a un problema de evaluación más complejo que uno cuya misión se limita a la ciencia pura o a las aplicaciones prácticas específicas de la ciencia. En consonancia con la misión general de los NIH y sus tradiciones, necesita tanto adherirse y avanzar en los estándares del más alto mérito científico como evaluar las contribuciones de los campos de la ciencia, existentes y embrionarios, por sus potenciales contribuciones a las misiones generales de los NIH.