RAUI: uncertainty indicators built with artificial intelligence

Abstract

Presentamos una nueva metodología para generar indicadores de incertidumbre basados en noticias de prensa, para temas definidos libremente por el usuario. El enfoque se basa en los sistemas de generación aumentada por recuperación comúnmente usados en las aplicaciones de inteligencia artificial, que adaptamos para construir medidas de incertidumbre que denominamos Retrieval-Augmented Uncertainty Indicators (RAUI). El método emplea un modelo de embedding para realizar una búsqueda semántica que selecciona las noticias de prensa relevantes para un tema dado, y un modelo de lenguaje (Large Language Model, LLM) para cuantificar el nivel de incertidumbre contenido en cada noticia. Construimos indicadores de incertidumbre para diez temas usando datos de periódicos españoles y una medida agregada que también ilustra cómo ha contribuido cada tema a la incertidumbre general a lo largo del tiempo. Presentamos dos aplicaciones prácticas de estos indicadores: un análisis según el modelo de autoregresión vectorial que muestra cómo diferentes fuentes de incertidumbre tienen efectos distintos sobre la economía española, y una estimación que genera intervalos de probabilidad cambiantes en el tiempo alrededor de las proyecciones de crecimiento del producto interior bruto del Banco de España.

We present a methodology for generating uncertainty indicators for user-defined topics based on newspaper data. The approach is based on Retrieval-Augmented Generation (RAG) systems commonly used in artificial intelligence applications, which we adapt to construct topic-specific uncertainty measures, referred to as Retrieval-Augmented Uncertainty Indicators (RAUI). The method employs semantic search with an embedding model to select news articles relevant to a given topic, and a large language model (LLM) to quantify the level of uncertainty contained in each of those articles. We construct uncertainty indicators for ten topics using Spanish newspaper data and an aggregate measure that also highlights how each topic contributes to overall uncertainty. We present two practical applications of these indicators: a VAR analysis that shows how different sources of uncertainty have different effects on the Spanish economy, and an estimation that generates time-varying fan charts around the Banco de España GDP growth projections.