【广发银行研发中心副总经理 唐海勇】焕新出发，以新求变——广发银行成功上线分布式银行核心系统

广发银行研发中心副总经理 唐海勇

进入新时代，银行业数字化转型深度演进，伴随着市场竞争和用户需求升级，日益增长的创新需求对银行核心系统的开放性、稳健性和可拓展性提出更高要求。近年来，广发银行坚定不移贯彻落实国家创新驱动发展战略，全面增强战略定力，聚焦数字化转型任务，加快实现高水平科技自立自强，加强关键核心技术攻关，开展以核心系统分布式转型为代表的自主可控实践，走出了一条自主可控、安全可信、高效可用的数字化转型路径。 

从行业实践看，核心系统转型升级已成为银行加速数字化转型、突破发展瓶颈的关键。国有大行及股份制同业在近年来已经启动或完成了核心系统的全部或局部重构，中小型商业银行正持续开展核心系统分布式建设工作。由此可见，银行业对核心系统分布式转型持开放态度，在数字化转型与自主可控政策的驱动下，各类银行正掀起分布式转型高潮。

从发展形势看，信息安全和自主可控已成为我国金融行业重大战略方向和核心要求，随着业务规模的持续增长以及银行业态多样化发展，基于大型主机平台的核心系统，已逐渐达到服务能力瓶颈，急需更加开放的生态。广发银行原银行核心系统运行在IBM大型主机平台上，随着业务的快速发展，服务资源也日趋紧张，广发银行通过开展“主机减负”工作，将银行核心系统的部分非金融交易迁出，逐步分流主机平台交易量，一定程度上缓解了紧张趋势，但资源瓶颈依然存在，亟需推进核心系统架构优化，扩容服务资源并提高利用效率。 

为满足未来业务发展需要，广发银行积极探索，勇于尝试，开展分布式微服务架构、分布式技术平台等关键技术领域研究攻关工作，为开展银行核心系统分布式转型工作奠定基础。广发银行于2018年启动了基础平台的自主研发工作，在2020年完成具备自主知识产权的分布式技术平台——统一研发平台（以下简称“RTP平台”），提供统一的全行级技术底座。截至目前，经过不断完善和推广，已有200多个应用在RTP平台上稳定运行。经深入验证、全面评估，RTP平台可以支撑广发银行未来的分布式银行核心系统，能满足业务高效处理、生产稳定运行的性能要求、安全可靠性要求，而且可根据业务发展需要，不断演进、升级。同时，分布式、容器云等领域的技术积累，具备了系统化、体系化应用能力。

广发银行于2020年9月成立分布式银行核心建设工作领导小组，统筹推进核心系统分布式转型工作，明确按照“统一规划、分步实施、整体切换”的实施策略，基于自研的RTP平台开展银行核心系统分布式转型工作。广发银行于2020年12月正式启动分布式银行核心系统建设，并于2022年5月全面完成技术投产，启动生产并行验证。经过近1年的业务验证及投产准备，新银行核心系统在2023年5月3日成功切换上线，正式对外提供服务。

广发银行分布式银行核心建设路径如图1所示。

图1 广发银行分布式银行核心建设路径

分布式银行核心系统整体建设历时28个月，完成了近500万行代码开发，开展了10轮集成测试、9轮业务验收测试、7轮投产演练，结合新旧系统并行验证的方式，充分验证系统准确性。系统上线至今，应用服务正常、基础设施运行稳定，重要渠道系统交易成功率100%。 

广发银行分布式银行核心系统通过自研的分布式技术平台和分布式数据库进行微服务建设，实现核心系统的自主可控，满足自主可控与监管要求。

广发银行作为我国最早成立的股份制银行之一，产品清单完整，业务架构完善，原银行核心系统建设项目已完成全行的产品清单梳理，以及业务流程的全面建模，业务模型比较合理。为降低项目实施风险以及实施成本，对银行核心系统进行局部建模。根据银行核心的业务领域划分并参考同业先进的DDD领域建模方法（最佳实践），将银行核心业务模块进行解耦，拆分为业务服务领域和公共服务领域。通过对业务服务领域和公共服务领域的分析、抽象，最终形成存款、贷款、核算、票据业务能力模型以及客户、运营、计价、产品、参数、数据公共业务能力模型。

依托广发银行IT应用架构规划，结合银行核心业务领域模型，基于广发银行自研RTP平台进行服务化重构，引入成熟分布式数据库，实现银行核心业务功能整体迁移，最终建成包含9个业务中心、5个业务支撑子应用的分布式银行核心系统。

广发银行RTP平台基于dubbo微服务框架建设企业级服务化体系，其内核配合银行核心设计经历6次迭代升级，为银行核心应用的稳定运行提供了平台框架支撑。基于银行核心的高保障要求，自研集成了一系列适配的监控和运维能力。根据广发银行分布式架构体系，完善分布式任务调度、分布式事务协调、任务重做、派发，优化数据库CPU毛刺等技术生态建设。

结合广发银行的批量场景完善分布式任务调度，注入了可视化流程编排、任务上下文共享、动态负载均衡、弹性伸缩、作业故障影响面分析等特性,支持多中心多活调度、快速自动故障转移、分区资源隔离等场景，通过对批量作业的集中管控，为批量规范治理和全生命周期监控提供了技术基础。平台落地后，日均作业批次调度超百万级，完满地支撑了分布式核心的高并发需求，提供最坚实的技术平台保障。

分布式事务协调为分布式技术平台支持银行核心业务跨中心调用场景提供一站式的事务解决方案（如图2所示）。事务协调服务端提供TCC和SAGA两种事务模式，基于注解的开发方式提供服务。作为分布式事务的协调者存在，分布式事务协调中心所有的微服务应用通过“事务管理SDK”与“事务协调服务端”进行交互，保证事务过程正常运行与异常事务的恢复。事务管理SDK为嵌入微服务中的SDK组件，负责与事务协调服务端交互，负责开启全局事务/分支事务，汇报事务状态、驱动事务的提交与回滚等功能。 

图2 分布式事务协调方案

分布式数据库选择对分布式银行核心系统建设至关重要。银行核心业务具有7×24小时不间断服务需求，时刻向客户提供核心银行业务及稳定、快捷的服务，并且需确保严谨的记账要求；需面向千万级客户提供响应迅速、体验良好、安全可靠的客户体验；同时，交易复杂并发量高，系统日活超千万笔，存在联机和批量以及账户热点等特殊业务场景的支持。因此，银行核心系统业务的特殊性决定了对数据库的选择的要求，需着重考虑：

（1）数据可靠性。分布式银行核心系统需要保证数据的安全性和可靠性，需要考虑数据库的容错能力和备份恢复能力。

（2）数据一致性。分布式银行核心系统需具备大容量、高并发场景下保持数据强一致的处理能力，需要保证在不同节点之间实时保障数据的一致性，保证金融交易数据安全以及业务的连续性。

（3）可扩展性。分布式银行核心系统的用户规模和交易量通常都非常大，而且需要满足特殊日期节点（如“双11”）的交易量增长，因此需要考虑数据库的可扩展性能力,以支持不断增长的数据和用户负载。

因此，广发银行在分布式银行核心系统数据库选型时，根据银行核心业务特点以及数据库要求，制定了7类评测类型共35项评测指标，针对国内比较成熟的分布式数据库产品进行多轮的研究调查、POC评测，最终确定广发银行分布式银行核心系统的数据库。

为进一步提升分布式数据库安全可靠及性能容量能力，以满足广发银行分布式银行核心系统的差异化场景支持，增加了100多个优化需求，适应银行核心业务系统在特性功能、安全保护、工具运维监控、数据迁移、可用性、性能提升等多个维度需求，如支持直达数据库的全链路事务跟踪、在线DDL、全局索引、全局序列、大事务拦截和高并发线程池优化等方面的能力要求，提升数据库产品的适配性。

自主建设分布式核心系统生产监控体系，提升监控数据处理能力，丰富监控指标层级，优化监控指标展示，增加排障应急手段；建立从网络、硬件到应用、业务服务的全栈监控指标及告警策略；实现对分布式银行核心系统各个应用生态、各专业领域技术栈的统一管理，以场景编排、可视化配置、菜单式应急等形式赋能一线运维团队。以告警处理为入口实现监控、排障、应急全流程联动，实现1分钟响应、10分钟排障定位、30分钟应急恢复。

分布式银行核心建设通过数据标准化、代码扫描工具确保规范落地执行，通过自动化测试、混沌测试以及流量回放比对的方式确保系统高质量建设。

研发过程中严格执行广发银行数据标准，从接口到数据库字段实现全流程贯标，所有字段定义均来自标准词库，实现数据标准化、规范化。

针对分布式数据库的编码开发，制定了94项数据库开发规范，包括表设计、列设计、DML、DDL、索引设计、通用开发、事务设计等，通过应用层规范设计适应分布式数据库特性。

为确保开发规范的落地执行，通过接入持续集成平台扫描工具进行实时代码规范检查，如 Sonar扫描、SQL扫描等。

为保证业务逻辑的准确性，系统建设基于自动化测试的单元测试机制，代码先本地经白驹自动化测试通过后再交付集成测试；采用混沌测试尽可能暴露程序隐藏漏洞；通过线上并行运行，同时复制生产流量，线上线下新旧系统回放比对，验证核心系统功能正确性和数据迁移一致性。 

基于分布式技术构建银行核心业务系统，突破主机封闭式生态制约，以开放生态充分赋能业务发展，改善服务质量，有效提升创新发展动能。

广发银行分布式银行核心系统通过批量框架的重新设计，完善7×24小时服务机制，实现银行核心系统持续支持业务服务能力。通过灰度验证，实现系统变更时业务验证风险的有效隔离，确保业务连续。至此，广发银行核心系统支持实现全天候业务运行能力，有效提升了客户服务质量。

经过新架构体系设计并落地实施，广发银行分布式银行核心系统联机交易耗时70毫秒，日终批量耗时由220分钟缩短为130分钟，其中计提和计结息分别耗时15分钟和25分钟，大幅提升业务处理能力，有效降低批量处理对关联业务的影响，为全行近亿存贷账户提供高质量服务。

针对热点账户交易瓶颈的场景，广发银行分布式银行核心采用延时记账方案支持热点账户业务处理。同时，为解决提升账户处理效率以及账户突发高并发导致数据库资源的消耗，广发银行分布式银行核心针对热点账号实现自动升降级处理，指定时间内账户交易次数超过预定指标时，升级为热点账户；相反，当指定时间内账户交易次数少于预定指标时，降级为普通账号。通过热点账户自动升降级方案，有效降低了数据库的访问压力，提升了资源使用效率以及账户处理的效率，有效应对高并发的支付、春节红包、双11等消费业务场景，提升客户服务体验。

分布式银行核心系统在业务处理过程中，通过数据交换以及数据同步技术，实时、高效地进行业务数据分发, 为数据业务化和服务智能化奠定数据基础，为全面推进客户画像、精准营销、运营管理、监管报送、风险控制提供了数据支撑，发挥数据价值。

分布式银行核心系统的成功上线，坚定了广发银行走自主可控道路的信心，为广发银行把握战略机遇、推动创新发展打造了新引擎。下一步，广发银行将以分布式银行核心系统上线为高质量发展新起点，加快推进数字化转型，助力建设更加安全、稳定的信息系统，为客户提供更加优质、高效的金融服务，为开创高质量发展新局面贡献力量！ 

-END-

前期精彩原创推荐（点击图片进入阅读）：

这是科技创新最好的时代，这是属于我们每个人最好的时代，关注“BanTech智库”，专注银行科技发展，探索无界金融生态！