在互联网金融快速发展的时代，信贷风险成为目前金融领域急需解决的问题之一。而信贷风险评估模型作为一种有效的工具，可以利用客户信息和客户活动数据识别潜在的风险，在金融机构中发挥着至关重要的作用。本文针对Kaggle数据集中因逾期还款用户实例远少于正常还款用户实例而造成的样本高度不平衡问题，以信贷风险预测为切入点，提出一种面向不平衡样本的风险识别方法。该方法选定以决策树为基分类器的AdaBoost分类器来训练SMOTE-Tomek平衡过后的数据集，它通过一种迭代机制让原本性能不强的分类器组合起来，形成一个强分类器。并选用精确率、召回率、ROC曲线及AUC值来评价所选定分类器的分类效果。实验结果表明，AdaBoost分类器相对于决策树、支持向量机和朴素贝叶斯分类器在信贷客户的风险评估中表现最优。

信贷风险评估模型，样本不平衡，SMOTE-Tomek，AdaBoost

Ning Ma, Shuo Liu, Lexiu Wang

College of Science, China University of Petroleum (Beijing), Beijing

Received: Apr. 27^th, 2023; accepted: May 24^th, 2023; published: May 31^st, 2023

In the era of rapid development of internet finance, credit risk has become one of the most urgent problems to be solved in the financial field. As an effective tool, credit risk assessment model can identify potential risks by using customer information and customer activity data, and play a vital role in financial institutions. In this paper, we take credit risk prediction as a starting point to solve the problem of high sample imbalance in Kaggle data set, which is caused by the fact that the number of overdue users is far less than that of normal users, a risk identification method for unbalanced samples is proposed. This method selects the AdaBoost classifier based on the decision tree to train the SMOTE-Tomek balanced data set. It uses an iterative mechanism to combine the weak classifiers to form a strong classifier. The accuracy rate, recall rate, ROC curve and AUC value are selected to evaluate the classification effect of the selected classifier. Experimental results show that the AdaBoost classifier performs best in the risk assessment of credit customers compared with decision trees, support vector machine and Naive Bayes classifier.

Keywords:Credit Risk Assessment Model, Sample Imbalance, SMOTE-Tomek, AdaBoost

Copyright © 2023 by author(s) and beplay安卓登录

This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).

http://creativecommons.org/licenses/by/4.0/

伴随着中国经济和金融行业的快速发展，互联网技术被广泛应用到金融领域中，互联网金融成为了金融业的重要组成部分，信贷就是一项重要的创新成果。由于其灵活、便捷的融资方式，信贷 [ 1 ] 成为了越来越多人选择的融资渠道，但同时信用风险问题也一直制约着信贷平台的发展，较高的违约率带来了极大的负面影响。因此做好贷款违约预测有助于银行相关业务的顺利展开，通过数据挖掘技术对数据库中的全体借贷人以及信贷申请人的相关信息数据进行挖掘分析和分类，能够预测申请人是否会违约，从而决定是否放贷。

近年来，许多基于机器学习的方法被广泛应用于信用风险预测模型中，其中包括逻辑回归 [ 2 ] 、神经网络 [ 3 ] 和支持向量机 [ 4 ] [ 5 ] 等方法。国内外众多学者对这些方法的可行性进行了验证，但是在研究信用风险评估模型的实际问题中，因为逾期用户数量相对于正常还款用户的数量很少而造成了正负样本比例极不平衡。利用不平衡的数据集进行模型训练，将严重影响模型的分类性能，得到较差的预测效果。对于解决不平衡数据集的分类问题，一般有数据不平衡处理方法和分类器两方面内容。

AdaBoost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(基分类器)，然后把这些基分类器集合起来，构成一个更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。AdaBoost能对不平衡数据集获得更好的通用性能，AdaBoost的提升机制更专注于被误分的少样本，以提高少类样本的分类精度。

关于AdaBoost的基分类器，目前有多种选择，如以径向基核支持向量机(RBFSVM)和决策树为基分类器。本文使用决策树模型作为基分类器，以决策树为基函数的提升方法称为提升树，在分类问题中此决策树为二分类决策树。

以决策树为基分类器的AdaBoost算法流程如下：

1) 初始化训练数据(每个样本)的权值分布。每一个训练样本，初始化时赋予同样的权值 w = 1 N ，N为样本总数。

D 1 = ( w 11 , w 12 , ⋯ , w 1 i , ⋯ , w 1 N ) , w 1 i = 1 N , i = 1 , 2 , ⋯ , N

D 1 表示第一次迭代每个样本的权值。 w 11 表示第1次迭代时的第一个样本的权值。

2) 进行多次迭代， m = 1 , 2 , ⋯ , M ，m表示迭代次数。

a) 模型采用前向分布算法，首先确定初始提升树 G 0 ( x ) = 0 。

b) 使用具有权值分布 D m ( m = 1 , 2 , 3 , ⋯ , N ) 的训练样本集进行学习，得到基分类器：

G m ( x ) = ∑ m = 1 M T ( x ; Θ m )

G m ( x ) : χ → { − 1 , + 1 } ，该式子表示第m次迭代时的基分类器，将样本x要么分类成−1，要么分类成1。其中 T ( x ; Θ m ) 表示决策树， Θ m 表示决策树参数，M为树的个数。

c) 计算基分类器 G m 的训练误差。

e m = ∑ i = 1 N w i m

d) 计算基分类器 G m ( x ) 的话语权，话语权 α m 表示 G m ( x ) 在最终分类器中的重要程度。

α m = 1 2 log 1 − e m e m

该式是随 e m 减小而增大，即误差率小的分类器，在最终分类器的重要程度大。

e) 通过经验风险极小化确定下一颗决策树参数 Θ m ：

Θ ^ = arg min Θ m ∑ i = 1 N L ( y i , G m − 1 ( x ) + T ( x i ; Θ m ) )

f) 更新训练样本集的权值分布用于下一轮迭代，其中被误分的样本的权值会增大，被正确分的权值减小。

D m + 1 = ( w m + 1 , 1 , w m + 1 , 2 , ⋯ , w m + 1 , i , ⋯ , w m + 1 , N )

w m + 1 , i = w m i Z m exp ( − α m y i G m ( x i ) ) , i = 1 , 2 , ⋯ , N

D m + 1 是用于下次迭代时样本的权值， w m + 1 , i 是下一次迭代时第i个样本的权值。其中 y i 代表第i个样本对应的类别(1或−1)， G m ( x i ) 表示基分类器对样本 x i 的分类(1或−1)。若分类正确， y i G m ( x i ) 的值为1，反之为−1。其中 Z m 是归一化因子，使得所有样本对应的权值之和为1。

Z m = ∑ i = 1 N w m i exp ( − α m y i G m ( x i ) )

3) 迭代完成后，组合基分类器，形成强分类器。

G ( x ) = s i g n ( ∑ m = 1 M α m G m ( x ) )

为了正确评估是否有效分类样本，引入模型性能评估指标。本文所构建的为二分类模型，采用的评估指标有混淆矩阵、精确度、召回率、F1-score以及ROC曲线和AUC值。

本部分主要分析SMOTE改进算法与AdaBoost算法相结合模型的分类性能。使用上述数据，将SMOTE改进算法与支持向量机分类器、决策树分类器以及朴素贝叶斯分类器和以决策树为基分类器的AdaBoost分类器分别相结合，并对性能评估指标进行对比，结果如表3所示。

表3. 评估机制与性能比较

由图5可知，以决策树为基分类器的AdaBoost分类器相比于支持向量机分类器、决策树分类器和朴素贝叶斯分类器的分类效果更好，并且由图6可知在模型参数一致的前提下，AdaBoost与SMOTE-Tomek数据处理方法相结合的模型分类效果优于与数据处理方法相结合的模型分类效果。因此对于上述实例数据，本文采用AdaBoost分类器与SMOTE-Tomek数据处理方法来进行分类判断。

图5. 不同分类器的ROC曲线图

图6. 不同数据处理方法与AdaBoost结合ROC曲线图

对于以决策树为基分类器的AdaBoost模型中，基分类器的个数(即基分类器的最大迭代次数)对于模型的最终分类效果有重要影响，如果迭代次数太大，容易过拟合；迭代次数太小，容易欠拟合。根据对模型中迭代次数的参数调整，在本文中当基分类器的迭代次数达到400时，分类效果最好，而当次数达到500时会出现过拟合的情况，如图7。

图7. 基分类器不同迭代次数

图8. 不同决策树深度

为了探索决策树的大小和模型分类效果之间的影响和联系，方便起见，调用sklearn中的决策树分类工具包，设置决策树最大深度这一参数(max_depth)分别为5，10，15进行实验，其他参数相同。由图8可知决策树最大深度为5时，其AUC值可达0.99884，此时模型结果达到最优，随着决策树增大而效果变差，可能是出现了对训练集过拟合的情况。

信用风险问题一直制约着信贷平台的发展，一个有效的信用风险预测模型是研究的重点。在实际的研究中数据集不平衡问题严重影响着模型分类效果，为此本文从不平衡数据处理方法和分类器算法两个方面提出改进方法。在不平衡数据处理方面，通过SMOTE过采样及其改进方法平衡数据集；在分类器方面，利用决策树为基分类器，提出AdaBoost分类算法。通过与其他方法的对比实验，证实了SMOTE-Tomek与AdaBoost相结合的分类模型在信用风险预测中具有更好的预测效果。但是本文提出的模型仍然需要进一步改进，在未来可尝试寻找其他不平衡数据处理方法和分类器的结合，期望进一步提高分类效果。

中国石油大学(北京)油气资源与探测国家实验室课题资助(PRP/DX-2208)。

马 宁,刘 硕,王乐秀. 基于SMOTE-Tomek与AdaBoost相结合的不平衡分类算法在金融信贷领域的研究Research on Imbalanced Classification Algorithm Based on the Combination of SMOTE-Tomek and AdaBoost in the Field of Financial Credit[J]. 计算机科学与应用, 2023, 13(05): 1135-1147. https://doi.org/10.12677/CSA.2023.135111