Using newspapers for textual indicators: which and how many?

Abstract

Este trabajo investiga el papel que desempeñan dos elecciones metodológicas a la hora de construir indicadores basados en análisis textuales: la selección de periódicos —locales frente a extranjeros— y la amplitud de la cobertura de prensa (es decir, la cantidad de periódicos que se utilizan para elaborarlos). La literatura que se ha ido desarrollando recientemente en este campo apenas toca estos dos temas ni examina la solidez de los resultados ante distintas elecciones en los dos terrenos mencionados. Para ofrecer una respuesta, tomamos como ejemplo el índice de incertidumbre de políticas económicas (EPU, por sus siglas en inglés) para varios países de América Latina y para España. En primer lugar, desarrollamos EPU basados en prensa con diferentes niveles de proximidad, es decir, local frente a extranjera, y corroboramos que ofrecen narrativas similares en términos generales. En segundo lugar, examinamos los efectos macroeconómicos de los shocks a los EPU calculados utilizando las diferentes fuentes por medio de un modelo bayesiano de vectores autorregresivos estructural, y encontramos respuestas similares desde el punto de vista estadístico. Finalmente, mostramos que la construcción de índices EPU basados en un solo periódico puede generar respuestas sesgadas. Esto sugiere que es importante maximizar la cobertura de prensa cuando se construyen indicadores basados en texto, ya que esto mejora la credibilidad de los resultados. En este sentido, nuestros primer y segundo resultados son buenas noticias para los investigadores, dado que brindan una justificación para el uso combinado de una mayor cantidad de datos de fuentes locales y extranjeras.

This paper investigates the role that two key methodological choices play in the construction of textual indicators: the selection of local versus foreign newspapers and the breadth of the press coverage (i.e. the number of newspapers considered). The large literature in this field is almost silent about the robustness of research results to these two choices. We use as a case study the well-known economic policy uncertainty (EPU) index, taking as examples Latin America and Spain. First, we develop EPU measures based on press with different levels of proximity, i.e. local versus foreign, and corroborate that they deliver broadly similar narratives. Second, we examine the macroeconomic effects of EPU shocks computed using these different sources by means of a structural Bayesian vector autoregression framework and find similar responses from the statistical point of view. Third, we show that constructing EPU indexes based on only one newspaper may yield biased responses. This suggests that it is important to maximize the breadth of press coverage when building text-based indicators, since this improves the credibility of results. In this regard, our first and second results are good news for researchers, given that they provide a justification for the combined use of a larger amount of data from local and foreign sources.