Analysis of CBDC narrative of central banks using large language models

Abstract

Los bancos centrales están utilizando cada vez más la comunicación verbal en su estrategia, abarcando no solo la política monetaria tradicional, sino también un amplio conjunto de temas. Uno de estos temas es la moneda digital de los bancos centrales (CBDC, por sus siglas en inglés), que está captando la atención de la comunidad internacional. La naturaleza compleja de este proyecto implica que debe ser diseñado cuidadosamente para evitar consecuencias no deseadas, como la inestabilidad financiera. En este trabajo, proponemos utilizar diferentes técnicas de Procesamiento de Lenguaje Natural (NLP, por sus siglas en inglés) para comprender mejor la postura o sentimiento de los bancos centrales hacia el CBDC, analizando un conjunto de discursos de los bancos centrales desde 2016 hasta 2022. Para ello, utilizamos técnicas tradicionales, como los métodos basados en diccionarios, y dos Modelos de Lenguaje de Gran Tamaño (LLM, por sus siglas en inglés) como BERT y ChatGPT, llegando a la conclusión de que los LLM reflejan mejor la postura identificada por los expertos humanos. En particular, observamos que ChatGPT muestra un mayor grado de alineación porque puede capturar información más sutil que BERT. Nuestro estudio sugiere que los LLM son una herramienta eficaz para mejorar las mediciones de sentimiento en textos específicos de contenido estratégico, aunque no son infalibles y pueden estar sujetos a nuevos riesgos, como una mayor sensibilidad a la longitud de los textos y el diseño de las preguntas realizadas al propio modelo.

Central banks are increasingly using verbal communication for policymaking, focusing not only on traditional monetary policy, but also on a broad set of topics. One such topic is central bank digital currency (CBDC), which is attracting attention from the international community. The complex nature of this project means that it must be carefully designed to avoid unintended consequences, such as financial instability. We propose the use of different Natural Language Processing (NLP) techniques to better understand central banks’ stance towards CBDC, analyzing a set of central bank discourses from 2016 to 2022. We do this using traditional techniques, such as dictionary-based methods, and two large language models (LLMs), namely Bert and ChatGPT, concluding that LLMs better reflect the stance identified by human experts. In particular, we observe that ChatGPT exhibits a higher degree of alignment because it can capture subtler information than BERT. Our study suggests that LLMs are an effective tool to improve sentiment measurements for policy-specific texts, though they are not infallible and may be subject to new risks, like higher sensitivity to the length of texts, and prompt engineering.