[摘要]本文以防范化解金融消费领域风险为主线，立足增值服务视角，以某商业银行贵金属业务内部审计项目为例，采用机器学习算法识别客户意见，挖掘并预警潜在风险，并从经济效益、管理效率和应用领域等方面对审计结果运用成效进行分析，为推动内部审计高质量发展、促进组织价值增值提供参考。
[关键词]内部审计;结果运用;机器学习
近年来，随着计算机硬件性能的飞速发展和自然语言处理（NLP）技术的日趋成熟，机器学习、深度学习等数据挖掘建模技术已广泛应用于各大领域，以机器学习为代表的人工智能技术也逐步应用于持续监测和风险评估等审计活动，并通过审计资源管理系统建设、数据分析工具的深度应用，大幅提升审计活动自动化、科学化和智能化水平，将其应用于商业银行客户意见分析，同样可以提升审计工作质效。
一、审计背景
由于贵金属业务具有交易品种多样、销售渠道丰富、处理流程复杂等特点，本次审计重点关注实物贵金属销售管理及流程控制的合规性和有效性，创新性地从客户视角对业务内控的有效性和操作的合规性进行全面评价。传统审计要提取客户意见风险特征，往往需要耗费大量人力和时间等审计资源，本次审计尝试运用人工智能技术，针对全量客户服务工单进行数据挖掘分析，以客户负面情绪为切入口，建立“客户痛点—产品质量—服务效果—合作机构管理”的全流程风险分析视图，挖掘引发客户痛点的深层次、有价值的审计线索。
二、审计过程
（一）客户情绪痛点分析
抽取贵金属业务方面客户意见X万笔，运用Word2Vec模型，将产品体验、服务效果与客户意见中的“不满”“着急”“气愤”等情绪痛点建立关联关系。经机器学习发现，该行代销的“快乐X”“大X套装”等贵金属产品投诉率偏高（见表1）。
（二）产品质量关联分析
根据客户情绪痛点关联分析结果，通过机器学习对该行贵金属产品质量进行关联分析发现，“项链类产品”质量问题与客户投诉的关联概率达30.85%，说明客户投诉的产品质量问题中近三成与“项链类产品”相关，与客户情绪痛点分析结论吻合。
（三）代销合作机构管理分析
经现场核实，“快乐X”和“大X套餐”贵金属产品系该行与某公司合作代销产品。运用机器学习，对历史问题数据进行训练学习，对全量客户意见进行相似度匹配挖掘发现，个别员工在代销贵金属产品时未将销售收入记入该行销售总账。进一步通过资金流向匹配跟踪发现，该公司主动向经办人员提供非双方约定的结算账户信息，存在“引导该行客户在系统外销售贵金属产品”的禁止性行为。针对审计发现的实物贵金属销售管理中暴露出的问题和风险趋势，审计组立即对全行贵金属合作代销机构进行疑似风险全面排查，提取风险事件特征并在业务风险监测系统中部署相关风险监测模型，及时预警违规行为，防止外部风险传染，实现类似风险事件的系统刚性控制。
三、结果运用
（一）明确审计结果运用路径
根据审计发现问题，审计组及时归纳总结审计发现的过程、方法和风险特征，从审计结果运用和审计技术推广两个层面明确运用路径，具体见图1。
（二）实现审计结果充分运用
通过对审计结果的抽象化、模型化，在银行集团及代销合作机构总公司范围内进行自上而下的双向风险排查以消除风险隐患。一是审计部门在全面掌握实物贵金属销售管理风险特征的基础上，积极研发并部署“疑似违规私售合作机构贵金属产品”的风险预警模型，持续监测代销产品数量、资金清算和实物交割等明细数据的匹配性和异常数据，及时向业务管理部门风险提示，并根据监控结果实现对被审计单位审计发现问题整改效果的动态评估。二是业务管理部门根据审计结果和定期的风险提示，实现对代销合作机构往来账务及佣金管理的动态管控。同时，通过补充完善合作协议条款、强化营销人员合规操作意识等措施，进一步提升被审计单位的内部控制水平。三是代销合作机构依据审计结果，在全国范围内开展销售合规性自查，完善内部控制措施，有效降低合作机构对该商业银行的外部风险传染性。
（三）拓展审计技术推广领域
一是不断深化非现场技术研究，提升风险抽样质效。创新运用LDA主题聚类、支持向量机（SVM）、人工神经网络（ANN）等大数据分析技术，针对客户意见等非结构化数据开展全量分析，不仅实现对客户意见全覆盖的风险特征抽样，还能从完善客户意见管理机制、提升客户服务水平等方面提出有针对性、行之有效的管理建议。如消费者权益保护审计项目，运用“人工神经网络+逻辑回归”模型，实现对疑似侵害消费者权益数据的自动化标注和风险抽样，有利于集团审计部门间协同配合，互相利用审计成果，减少重复审计，提高审计效率，实现集团审计全覆盖。二是提升数据获取能力及挖掘价值，丰富内部审计线索来源。通过机器学习，对客户意见、外部舆情信息等非结构化数据的获取和分析进行积累学习，有效积累风险特征数据，拓宽内部审计部门风险信息获取渠道。比如，理财业务审计同样可以运用贵金属审计发现成果和机器学习模型，有效识别违规销售等隐性风险线索，为完善制度体系、建立健全内部控制机制提供参考依据。三是夯实数据基础，丰富技术应用场景，不断提升内部审计智能化水平。在推动审计结果运用的基础上，搭建人工智能数据挖掘分析平台，在彻底解决数据存储安全性问题、提升数据建模稳定性和运行效率的同时，探索基于准实时的客户意见自动抓取和分类标注技术，实现客户意见动态监测，并为舆情监测前移夯实了数据基础。同时，集团内部审计坚持“产品化”数据分析成果思路，依托已构建的内部审计信息系统，采取“快速迭代”方式，将测试验证效果好的数据分析成果按照分层次、分阶段、分步骤实施的策略，逐步在内部审计信息系统中固化高效精准的审计工具和产品，以推动建立信息共享、结果共用、问题整改共同落实的工作机制，切实提升内部审计工作的智能化水平。
四、运用成效
（一）提高经济效益
一是充分发挥客户意见风险揭示效能。应用机器学习进行审计监测，发现违规代销合作机构产品问题，向被审计单位风险提示，及时采取风险管控措施，在挽回经济损失的同时降低了声誉风险。二是有效降低合规管理成本。通过对客户意见系统自动持续进行动态监测，及时发现员工违规行为，有效降低风险损失类事件的发生概率。三是大幅节约审计资源。采用基于机器学习等新兴技术的审计方法，不仅实现对客户意见的全覆盖审计和动态监测，还大幅降低了审计资源投入。
（二）提升管理效率
一是通过构建持续监测分析模型，及时预警风险事件，被审计单位可快速响应，提高整改效率。其他单位还可通过内部审计信息共享机制，及时掌握风险特征，对风险隐患进行排查，有效预防风险发生，避免风险传导扩散。二是审计部门通过对外部环境、市场信息、客户意见等多渠道数据进行收集，以常态化、持续性监测分析，有效识别资产质量管理过程中的主要风险，发现机制性和系统性问题，并且有针对性、及时地提出有价值的管理建议，达到持续提升审计质量的目的。同时，为审计方式由“抽样审计”向“全量审计”转变、审计结果由“定性结论”向“定量结论”转变提供充分的技术支撑，降低审计资源消耗和管理成本。
（三）拓展应用领域
在互联网金融和大数据背景下，机器学习等人工智能技术的应用领域也更加广阔，不仅可作为传统结构化数据挖掘分析的有效补充，还可从客户视角获得第一手审计线索。比如，在商业银行资产管理审计领域，可实现产品设计、营销管理、法律遵从等方面的全生命周期监控，针对操作风险事件及时预警。同时，该审计结果也可进一步应用于商业银行销售的其他产品领域。又如，在消费者权益保护审计领域，可实时抓取客户投诉及意见中的“观点”，与预先定义的“内审词库”进行比对，及时发现并报告商业银行在战略执行、机制流程、渠道与产品服务、外部风险传导以及涉及消费者权益方面的问题和风险；也可作为舆情前移管理的技术手段，快速从客户意见中抽取“疑似飞单私售”“客户投诉升级”“员工违规行为”等风险特征，对隐藏在客户意见中的潜在舆情事件进行风险排查和预警，从内部审计增值服务视角为商业银行舆情前移管理提供解决方案。
作者:赵军 单位:中国工商银行股份有限公司内部审计局昆明分局
