李春晓：可解释人工智能(XAI)元年——XAI在金融领域中的应用实践-教授观点-上海交通大学中银科技金融学院

当今的许多人工智能(AI)算法实际上是“黑箱”,缺乏“解释”其背后的推理逻辑和机理。

在传统规则型专家系统/逻辑回归向全面AI算法升级的过程中,具有可解释性的AI将更好地将“人”纳入整个决策回路(human-in-the-loop,HITL),填补决策解析、提供说明支持、帮助业务人员/客户更好地做出明智的选择。严格的监管才能保障金融的稳定和体系的安全,具有可解释性的AI应用既能更好地辅助金融机构方的管理工作,又对监管方的审查工作提供便利。根据上海交通大学-中银金科合作的可解释人工智能(XAI)项目的探索,XAI可以成功应用在金融领域的强监管场景中。

什么是可解释人工智能 ?

近年来,人工智能已被逐渐应用到各个领域——金融业、医疗行业、建筑业、服务业等等,凭借其在诸多传统复杂问题中的优越表现,AI技术获得了广泛的认可。同时,人们对人工智能有了越来越高的期待,关于AI的讨论在社会舆论、政策研讨中频繁出现并不断延展。在科幻电影《HER》中斯嘉丽.约翰逊扮演的AI甚至能对人的行为做出解释,帮助人做出决策、与人产生深度交流,甚至恋爱冲突,而这一幕迟早会在现实生活中出现。

“学习”是人工智能的核心,即让机器代替人来学习数据,利用其一定程度上超越人类的学习、分析、推理能力,做出复杂的逻辑判断。随着人工智能技术的不断发展,机器学习的模型越来越复杂、模型精度越来越高,但模型的可解释性,即其透明度,却越来越低。换言之,以人类的常识去理解机器学习模型的判断逻辑变得愈发困难。因而,机器学习模型的精度和可解释性,形成了一对此消彼长的矛盾。比如在反洗钱、反欺诈等领域,为了达到较高的预测精度要求,银行里逐步使用复杂的黑盒模型(如XGBoost、DNN等),更替了传统规则型算法,取代原有的评分卡、逻辑回归等白盒模型。黑盒模型虽然实现了精度的提升,却又在另一方面妨碍了业务人员和监管机构对其的理解。不仅如此,复杂模型所依赖的各个组件之间也会相互影响,使得模型的预测结果可能存在着未知的风险,在遭遇攻击时也不易被察觉,更有可能造成算法歧视和不公平等伦理问题……这些因素反而形成了新的决策、治理和监管的难题。

可解释性人工智能出现的原因

在越来越多的日常使用场景中,往往是AI做出了决策,大众就必须接受结果。例如,你去银行申请贷款,如果银行基于复杂算法的风控系统建议将你(借款人)的申请拒绝,那么很可能你就没有办法最终获得贷款。在这种情况下,即使你要求银行的柜台业务人员解释为什么你会被拒绝,对方往往也只能表示无可奈何,无法提供具体的解释。而在更普遍的线上人机互动场景中,你得到的“解释”可能更加单薄,例如银行APP可能只是告诉你,你被拒绝是因为你没有达标,但却没有告诉你银行是否有其他更适合你的信贷产品。

在金融反洗钱的专业领域中,人类的反洗钱专家每天可以审核有限数量的可疑交易。但在相同或更短时间内,人工智能的复杂黑盒模型却可以审核成千上万份可疑交易和潜在的犯罪网络。那么问题来了,如果不构建可解释人工智能,也即是XAI,那么反洗钱专家们如何去处理那些由黑盒模型找出的、但和人类主观判断不一致的可疑交易,这时候究竟应该是依照专家经验还是直接采信AI的判断结果?这些人机判断不一致的问题一般来说会转交给算法技术开发人员来进行详细解释,这无疑是极其耗时的。而且,因为随着银行业务的扩大,反洗钱的筛查范围也随之扩大,可疑交易的数量逐年增加,那么寄希望于让“程序员”来解释每一桩存疑交易毫无疑问将是不可接受的。

与此同时,随着我国金融行业的国际化程度越来越高,金融业务越来越深入老百姓的日常生活,而监管政策也日趋审慎,监管标准日渐提高,因此,各方对常见AI黑盒模型的透明度、模型可解释性的需求变得极其迫切——金融业务不仅需要AI提供准确的预测结果,更要打开“黑盒”,向人类展示出其中的数据要素、神经网络的推理逻辑和决策原因,让人类做出更准确的选择——这需要的正是具有可解释性的、能提供充分信息的有效决策辅助的AI系统。因此,如何实现黑盒模型的可解释、从而使AI同时具备精度和可解释性,成为金融行业能否广泛采用AI技术的重中之重。

上海交通大学与中银金融科技有限公司强强合作,一起启动了‘AI算法与业务模型可解释性研究’创新研发项目。核心研究人员是来自上海交通大学安泰经管学院的李春晓博士(AI-MBA项目学术主任,信息技术与创新系助理教授)及其团队,上海交通大学宁波人工智能学院的王冠博士(智慧金融实验室主任,可之科技 learnable.ai创始人)及其团队,以及中银金科创新研究中心郭朝阳总经理带领的数字智能服务团队。研究团队采用以可解释性为中心的分析方法帮助业务人员深入了解各种影响模型输出结果的参数,这些深入的洞察有助于分析“可疑交易”之间的潜在关系,了解“可疑”点出现的原因,从而节省了大量时间并做出最终的可解释的精准决策。

可解释人工智能的解释方法

可解释的人工智能(XAI)的核心能力就是它必须能够向人类解释人工智能算法是如何得出结论的。那么XAI究竟是如何解释各种输入数据对结果产生影响的呢?

一方面,在简单的分类模型中,我们可以解释每个变量如何对预测结果做出的贡献。例如,在预测某个借款人的违约几率时,输入变量可能是年龄、学历、当前的工作和收入水平,以及是否有房产和车辆等等。决策树类的算法能够表示出各种变量之间明确的“如果-那么”的关系,因此容易被人类理解。

另一方面,在深度学习模型中,尤其是计算机视觉领域,研究者使用“注意力层”来突出图像中对分类影响最大的区域。这让人们可以确定如果某AI算法将图像分类为“马”时,是否搜索了“尾巴”这个特征,或者是否搜索了“草地”或“马鞍”等与“马”相关的其他特征。另一类算法如LIME,则通过局部线性拟合,可以在任何模型上给出图像各区域对预测结果的影响。

为了实现更进一步的解释,研究者采用事实扰动的方法,即对输入数据故意的加以扰动,用于改变可以导致不同结果的条件,然后解释需要改变哪些因素才能实现不同的结果。

探索可解释人工智能在银行业的应用实践

“AI算法与业务模型可解释性研究”创新研究项目通过对可解释人工智能(XAI)的探索,论证对银行业各类常见的风险控制场景中(如反欺诈、反洗钱、信贷风控等)使用的不同机器学习模型进行可解释分析的业务价值与技术可行性,给出一套在银行系统中机器学习模型上实现可解释算法的完整方法论及技术方案,达到了以下目标:

1)帮助银行业务人员加深对于日常的业务流程中使用机器学习模型的信任,清晰的解释使用机器学习模型不会在实际业务场景中产生算法歧视,即使偶尔出现偏差也在监管的允许范围内。

2)帮助银行优化使用的机器学习模型的性能,准确识别出模型异常和被攻击的情况并发出警告,从而减少模型使用时不可预知的风险,提高银行在风控场景的攻防能力,从而最终提升银行业务的安全性。

3)帮助银行的法规部快速定位可疑客户的可疑特征,从而提高排查效率、提升排查精确性。

局部可解释性:人工智能算法模型的局部可解释方法,即在单个样本的预测结果中,解释各项影响结果的特征重要性占比,有助于用户了解在预测结果中,到底是哪几项特征影响最为关键。上海交大-中银金科的算法研究团队通过特征构造目标的办法,使用了包括线性构造、非线性构造、特征交互等多种构造方法,可以在实验之前知道局部可解释应该导出哪些特征(即解释真值,Ground Truth)。研究团队使用三种典型局部可解释算法(LIME算法、SHAP算法、EBM Boosting算法)同时进行实验,然后将每个实验结果与解释真值进行比较,以此评价各种局部可解释算法的解释准确性。

全局可解释性:如果说局部可解释性对应的业务场景是贷款申请被拒绝后,银行业务人员可以看出是是哪一项贷款条件没有达标,那么全局可解释性就是在为借款人办理申请之前,为银行的业务部门全体人员提供一个整体的贷款指标定性要求以及重要性占比,帮助业务人员更好地理解哪些特征对于帮助客户成功的申请贷款更为重要,从而更为精准的筛选目标人群,在提高贷款通过率的同时也确保银行风控管理的准确性,进一步促进业务人员理解并信任黑盒模型。

具有全局可解释性的经典算法包括SHAP算法,XGBoost算法等。在实践中研究团队使用了SHAP算法解释模型,并且为了提高解释结果的有效性,研究团队对强相关交互特征做了筛选滤波、PCA分解及特征工程处理。

可解释平台:可解释平台的核心功能是展示不同样本(比如客户和交易信息)的预测结果及评判标准,便于业务人员深入理解黑盒机器学习模型、并据此作出业务判断。

　　图:可解释平台展示方案

中银金科和上海交大的联合研究团队在构建可解释性人工智能系统的实践过程中发现,“可解释性人工智能”和“建立具有人类感知认同和可信任的解释性结果”是完全不同的目标。一套具有实践价值的可解释人工智能系统其实是机器学习过程与人类用户不停的交互,最终实现高度的互相理解的整体——也就是说,这其实是一个“人机互动共生”的问题,而不仅是一个算法技术问题。

研究团队深信,随着人机共生(Human-in-the-loop)的概念进一步被人们所接受,可解释人工智能将大大增强各个行业业务人员的判断能力,企业的治理能力和相应监管部门的管理工作也将获得极大的收益。