Machine learning in credit risk: measuring the dilemma between prediction and supervisory cost

Abstract

Informes recientes muestran la creciente adopción en el sector financiero de técnicas de aprendizaje automático o machine learning (ML) en la gestión del riesgo de crédito. En este entorno, los supervisores se encuentran ante el reto de permitir que se maximicen las oportunidades derivadas del progreso tecnológico y la innovación financiera, a la vez que se respeta la neutralidad tecnológica y la compatibilidad con la regulación. Proponemos un marco para medir los beneficios y los costes de usar ML en riesgo de crédito, siguiendo tres pasos. Primero, identificamos los beneficios a través de una revisión de la literatura económica, donde se observa que el ML proporciona mejoras de hasta el 20 % en la capacidad de discriminación de impagos con respecto a modelos estadísticos tradicionales. Segundo, utilizamos el proceso de validación de sistemas de rating (IRB) para capital regulatorio a fin de detectar las limitaciones del ML en riesgo de crédito. Identificamos hasta trece factores que pueden suponer un coste supervisor. Finalmente, proponemos una metodología para evaluar estos costes. A modo ilustrativo, cuantificamos las mejoras en predicción mediante la estimación de seis modelos de ML usando una base de datos pública. Posteriormente construimos una función de coste supervisor asignando valores a través de un scorecard que pondera, para cada modelo, cada factor en función de la tolerancia al riesgo del supervisor y el uso que se le dé por parte de la entidad financiera. De esta manera se podría aumentar la transparencia, eliminando una barrera a la innovación en la industria financiera.

New reports show that the financial sector is increasingly adopting machine learning (ML) tools to manage credit risk. In this environment, supervisors face the challenge of allowing credit institutions to benefit from technological progress and financial innovation, while at the same ensuring compatibility with regulatory requirements and that technological neutrality is observed. We propose a new framework for supervisors to measure the costs and benefits of evaluating ML models, aiming to shed more light on this technology’s alignment with the regulation. We follow three steps. First, we identify the benefits by reviewing the literature. We observe that ML delivers predictive gains of up to 20 % in default classification compared with traditional statistical models. Second, we use the process for validating internal ratings-based (IRB) systems for regulatory capital to detect ML’s limitations in credit risk mangement. We identify up to 13 factors that might constitute a supervisory cost. Finally, we propose a methodology for evaluating these costs. For illustrative purposes, we compute the benefits by estimating the predictive gains of six ML models using a public database on credit default. We then calculate a supervisory cost function through a scorecard in which we assign weights to each factor for each ML model, based on how the model is used by the financial institution and the supervisor’s risk tolerance. From a supervisory standpoint,having a structured methodology for assessing ML models could increase transparency and remove an obstacle to innovation in the financial industry.