The long-term causal effects of winning an ERC grant

Abstract

El objetivo de este documento es investigar los efectos causales a largo plazo de la concesión de una beca del Consejo Europeo de Investigación (ERC, por sus siglas en inglés) en la productividad de los investigadores, en la excelencia de su trabajo y en su capacidad para obtener nuevas becas hasta nueve años después de la concesión de la beca. Nuestro análisis se basa en datos sobre el universo de solicitantes de becas del ERC entre 2007 y 2023, así como en información acerca de su historial completo de publicaciones disponible en la base de datos Scopus. Para identificar el efecto causal, primero utilizamos la regla de asignación de becas basada en la clasificación de los solicitantes, y comparamos las variables de resultados de los solicitantes que obtienen una beca con los de los solicitantes que no la obtienen utilizando un diseño de regresión en discontinuidad (RDD, por sus siglas en inglés). En el marco de esta metodología, el análisis encuentra efectos estadísticamente significativos en la productividad de los investigadores y en la calidad de la investigación, lo que sugiere que la obtención de una beca del ERC no constituye una diferencia en términos de impacto científico para los investigadores en una posición cercana al umbral en la clasificación. Dado que los diseños RDD contribuyen a identificar un efecto local, también realizamos un análisis de diferencias en diferencias (DID, por sus siglas en inglés) utilizando la serie temporal de los indicadores bibliométricos disponibles, lo que nos permite estimar el efecto en una población más amplia de solicitantes que obtienen la beca y de solicitantes a los que se les deniega. En contraposición a los resultados obtenidos del RDD, las estimaciones del DID muestran que la obtención de una beca del ERC genera efectos positivos a largo plazo en la productividad científica, en el impacto y en la capacidad de atraer otras fuentes de financiación de la Unión Europea en las áreas de química, ciencias del universo y de la tierra, instituciones y comportamientos, estudios de la mente humana y medicina. Un análisis adicional de los efectos heterogéneos nos lleva a concluir que los resultados positivos del DID parecen estar determinados por los solicitantes que ocupan las primeras posiciones en la clasificación en estas áreas.

This paper investigates the long-term causal effects of receiving an ERC grant on researcher productivity, excellence and the ability to obtain additional research funding up to nine years after grant assignment. We use data on the universe of ERC applicants between 2007 and 2013 and information on their complete publication histories from the Scopus database. For identification, we first exploit the assignment rule based on rankings, comparing the outcomes of the winning and non-winning applicants in a regression discontinuity design (RDD). We fail to find any statistically significant effect on research productivity and quality, which suggests that receiving an ERC grant does not make a difference in terms of scientific impact for researchers with a ranking position close to the threshold. Since RDDs help identify a local effect, we also conduct a difference-in-differences (DID) analysis using the time series of bibliometric indicators available, which allows us to estimate the effect on a wider population of winning and non-winning applicants. By contrast with the RDD results, DID estimates show that obtaining an ERC grant leads to positive long-term effects on scientific productivity, impact and the capacity to attract other EU funds in the fields of Chemistry, Universe and Earth Sciences, Institutions and Behaviours, Human Mind Studies and Medicine. Further analysis of heterogeneous effects leads us conclude that the positive results obtained with DID seem to be driven by the top-ranked applicants in these fields.