【广州银行金融科技部赵志东 阚建国】以“广银芯”建设为契机 推动数据治理实践

随着社会信息化水平的不断提高，企业和个人在生产生活等各方面产生了大量的数据。日益肥沃的数据土壤同时催生出了诸如大数据、云计算、人工智能、区块链等新兴技术，数据和技术的相互交融促进，共同推进了整个社会向更便捷、更高效、更融合的未来发展。信息化共同体中的银行业金融机构，对数据这一重要的生产要素不断加强管理和运营，使其成为自身数字化转型的核心竞争力。作为我国金融业中重要力量之一的中小城商银行，一方面立足本地特色，在日常金融经营业务中下大力谋发展、创新意；另一方面也纷纷开启适合自身的数字化转型之路，积极挖掘数据、拥抱新兴技术，与重点业务场景相融合共促进。然而中小城商银行由于自身发展历史较短、资金投入有限等原因，各方面发展尚未成熟，往往面临着数据分散、有数难用、挖掘不深的困境。如何从一个个独立的“数据孤岛”系统中将数据提取、如何按照统一的标准和格式对数据进行梳理规范、面对信息系统的升级如何进行数据的迁移和清理等种种数据需求，势必需要对数据进行综合统一的治理，使得内外部数据可以标准一致、完整可用和互联互通，将其价值最大化。

广州银行自2018年以来，制定了“完善体系、夯实基础、水平提升”的三步走数据治理总体规划，把数据能力建设提升到“兴行之本”“智胜之器”。成立了数据治理委员会，决策全行数据管控工作中的重大事项，引领全行数据能力建设。在数据标准管理、数据质量管理等方面夯实数据治理基础能力，进而通过数据中台建设促进“业务数据化、数据资产化”。近年，广州银行正式启动了新一代核心系统建设工程（以下简称“广银芯”），并基于该工程全面开展数据清理和数据标准落地综合实践治理项目，以新核心系统建设为契机，推动广州银行数据标准落地、数据清理和数据迁移等工作。该项目荣膺“DAMA2021数据治理最佳实践奖”（注：DAMA为国际数据管理协会英文缩写），这也是广州银行连续两年获此奖项。

广州银行在“广银芯”项目开始前就明确了数据治理目标，分为落地数据标准、实施数据迁移和开展数据清理三个数据专题目标和建设系统平台、优化组织流程两个自身提升目标。

结合最新外部监管要求、行内实际业务需求和系统实际情况，建立基础数据标准和指标数据标准；推动数据标准对标落标工作；进行数据标准及落地相关的宣传、培训、检核、督导等工作；建立数据标准治理相关的规范制度和组织流程。

确定“广银芯”项目相关主数据定义和主数据分布，明确主数据的承载信息系统，着重在新建、重建系统中落地；组织并管控数据清理工作；对于全行监管报送及内部报表的手工报送问题进行全面梳理，对于手工录入的原始数据项以及数据变动的管控，制定解决方案。

根据“广银芯”项目实际情况，制定数据迁移方案，指导各系统配合“广银芯”项目落地完成数据迁移工作，并在数据迁移过程中逐步解决过去旧系统中存在的历史数据问题。

建立全行级别的统一数据管理平台，一期聚焦元数据、数据标准、数据质量三大块数据治理重点领域，并且进行全行数据统一管控展示，综合监督、发现等功能，满足数据治理关键领域的精细化管理需求，实现数据治理过程的流程化、线上化、自动化，为数据治理价值实现奠定基础。

全面梳理行内各类数据在系统中的来源、去向和属主，在顶层设计方面建立数据顶层治理机构、明确各数据属主部门、建立数据治理指引；在规则制度方面颁布一系列与数据生命周期各阶段相关的数据管理办法，制定数据基础标准和指标标准落地相关的原则、流程、细则、模板，以及数据清理及迁移的规则、要求和验收标准等；在落地流程方面进行数据标准、数据清理、数据迁移及实践等关联工作的宣贯、培训、答疑、评审、督导等。

广州银行在建设“广银芯”项目中，涉及对存量应用系统的新建或者改造，对于新建后的各个信息系统，要将原对应旧核心系统及外围关联系统的数据按需求、规范、账务等要求迁移到对应的新建系统，确保迁移数据符合新系统的特点，满足数据的完整性、一致性、正确性与合规性等要求。与此同时，在旧核心系统及外围关联系统的数据迁移到新建系统的过程中，要同步进行旧系统的数据清理工作，对旧系统中不符合新建系统要求的存量数据进行转化、修改或删除，确保新建系统中存储的数据满足监管合规性等要求。

数据标准指的是本机构重要数据制定的业务和技术规范性文件，是在信息系统范围内，对数据的表达、格式以及定义的一致性约定，包含数据的业务属性、技术属性等的统一规范。

广州银行在数据治理过程中不断对数据标准进行扩充和完善。通过全行一套数据标准，确保在行内外使用和交换不同数据的一致性和准确性，提升数据支撑业务的能力、提升整体业务效率、提高信息系统建设规范化、促进数据共享，做为广州银行数据治理基础，并支持新核心项目的数据清理及数据迁移工作的标准化完成。

（1）数据标准治理思路

数据标准的全生命周期管理过程，包括梳理、制定、对标、落标、修订、复测等多个环节，需要经过一系列科学有序的管理机制来对数据标准进行约束、控制和落地。为配合“广银芯”项目工作的顺利开展，按照以下治理思路和方法实施：

一是在政策制度方面，通过顶层设计将数据标准落地项目纳入全行数据治理的工作范畴，结合全行“广银芯”项目阶段性工作安排、数据治理整体战略规划，制定数据标准管理办法和相关实施细则。

二是在组织与人员方面，组建数据标准治理的管理机构和执行机构，建立多部门配合的工作联络渠道，明确全行各相关部门的责任分工和岗位任务。

三是在数据标准内容方面，制定全行级的基础数据标准和指标数据标准，并按照大小版本原则统一对外发布。

四是在数据标准执行方面，按照数据标准的梳理、制定、对标、落标、修订、复测6大环节，明确各环节落地实施规范、操作指引、参照模板、实践范例等。

五是在技术工具支撑方面，引入建设全行级的统一数据管理平台，通过线上化元数据采集工具，自动采集、分析系统数据标准落地情况。

（2）数据标准治理过程

数据标准的修订内容包括新增标准项、变更已有标准项和废止已有标准项三类具体操作，修订流程按照提出申请、受理申请、制定、评审、发布五个步骤执行。

数据标准的落地执行则是指主动推动已发布的数据标准在具体业务操作和信息系统中的实施运用。数据标准落地的过程分为对标及落标。所谓对标，是指将本系统的数据项跟数标项逐一比对，标识出哪些是业务含义匹配的，比对其业务属性、技术属性的差异。对于业务含义不匹配的，无需落标。业务含义匹配，且业务属性和技术属性一致的，称之为落标。

广州银行“广银芯”项目数据迁移的治理过程首先包括确定数据迁移的范围，之后是明确数据迁移的管控思路和原则，再基于以上两个方案进行数据迁移实践，最后对数据迁移结果进行检核，确保迁移后的数据满足系统和合规的要求。

（1）数据迁移目标

数据迁移是指将旧系统环境中的数据迁移到新建系统环境中的全数据流动过程。主要包括三个阶段：数据移出阶段、数据转换阶段、数据移入阶段，也称数据迁移或数据移行。其中，数据移出是指将旧环境中的数据卸载到数据转换环境中的过程；数据转换是指将旧系统的源数据按数据映射表中的转换关系转成新建系统的目标数据的过程；数据移入是指将通过转换后检核的目标数据加载到新核心环境中的过程。

（2）数据迁移原则

数据迁移工作是伴随着信息系统建设过程中，旧系统切换到新系统，需要将旧系统的存量需迁移数据按要求迁移到新系统中，并遵循以下迁移原则：

一是业务连续性。迁移工作按照监管机构对业务连续性的要求，必须做到不影响本系统的业务连续性，即从业务处理角度来讲，通过合理计划和安排，使得相应业务办理不受迁移工作的影响。

二是数据一致性。迁移工作需要确保在迁移前和迁移后的数据一致性，对此需要采取一系列措施，合理设置人工检核和技术检核环节，确保迁移过程中的数据一致性。

三是账务完整性。迁移工作需要确保迁移前和迁移后账务体系的完整性，对此需采取一些措施，对迁移前后的账务完整性和一致性做必要的比对检查。

四是满足非账务关键要素。迁移工作除需要确保账务完整性外，还需确保相关业务系统的重要非账务关键要素信息的完整性、一致性及可用性，例如客户号变更的可用性等非账务但非常重要的要素。

五是应检尽检原则。数据迁移过程中所有涉及数据变化、数据传递的环节均应进行数据检核。

六是早发现早解决原则。在数据迁移过程中，应遵循“早发现早解决”的原则，尽量将影响后续环节的事项前移检核。

（3）数据迁移治理实践

数据迁移的具体实践流程如下：

一是确定迁移关系与规则。根据“广银芯”项目的建设目标和要求，确定数据迁移中迁入和迁出涉及的系统及关联关系，绘制迁移关系图，确定迁移规则模板、迁移细则文档大纲，对应每个系统的数据迁入或者迁出细则，并进行评审确认。

二是细化迁移规则。根据第一阶段形成的迁移关系图、迁入迁出规则，逐一细化成每个系统的数据迁移规则，按照迁移规则形成数据迁移对，合并迁入迁出规则，对一些特殊的映射规则、特殊迁移规则进行审定，并进行业务和技术两轮评审。

三是测试数据迁移规则。在测试环境中验证数据迁移规则的正确性，确保数据迁移范围完整，迁移数据准确。

四是开发上线投产。根据迁移规则和前期的迁移测试结果，开发所有的迁移数据脚本，经过验证后统一发布到生产环境，实施投产演练，进行生产环境数据迁移。

广州银行“广银芯”项目数据清理的治理过程首先包括确定数据清理的概念，之后是明确数据清理的管控思路和原则，再基于以上两个方案进行数据清理实践，最后对数据清理结果进行检核，确保系统进行数据清理后满足各项测试要求。

（1）数据清理目标

数据清理是对旧系统不符合新系统要求的存量数据进行修改或删除的过程。如新系统中的某个字段虽然可以通过旧系统的字段转换而来，但旧系统这些字段的值并不完全符合新系统的要求，并且这些不符合要求的数据也不能通过数据转换的方式一次性转换，必须在转换前进行修改、剥离或删除。

（2）数据清理原则

数据清理的过程中需遵循以下原则进行：

一是依据已识别出来的迁移存量数据清理问题为基线展开工作。

二是数据清理工作单元目标的达成需要关联方的全力协作，共同努力；需联合全行各相关部门的数据清理专员紧密协作，按照协作机制确立的协作事项分工开展工作。

三是数据清理工作涉及的主数据分类有客户、账户、机构、渠道、科目、产品、员工、参数(如费用)等；主数据相关问题解决重要程度以客户信息相关、内部账户相关、机构和员工信息相关、渠道产品相关优先级别划分。

（3）数据清理治理实践

实践中，数据清理分为以下流程：

一是检核程序参数准备。检核前在检核环境（旧系统）装入检核时需要的参数数据。

二是检核程序执行。执行检核程序，每日定时自动执行。

三是检核结果发布。检核结果，特别是问题数据，以清单形式通过报表系统发布，清单中相关分析结果批准栏位要求在线可编辑。

四是问题数据技术分析。问题数据关联系统的技术人员使用技术手段分析问题产生原因，在线点对点批准技术分析结果。

五是问题数据业务分析。业务核准技术分析结果，或者对于技术未能给出原因的，需要通过追溯传票等手段分析问题产生原因。

六是制定清理方案。业务人员、技术人员、数据清理专家三方共同分析问题并出具清理方案。

七是业务清理。业务部门根据清理方案，利用柜面等渠道交易进行问题数据清理。

八是业务确认。对于无法从柜面等渠道清理的，业务确认正确数据，统一提交技术部门补数处理。

九是技术清理。技术部门根据业务部门提交的确认单和正确数据，运用技术手段进行清理。

十是清理验证和评估。进行检查程序验证和业务抽样验证，实施阶段性评估。

在基于“广银芯”项目的数据清理和数据标准落地综合实践项目推进过程中，通过本项目的实施，在治理组织架构优化、制度流程提升、数据标准更新、数据标准复核机制形成、数据迁移和清理执行、数据资产化、数据治理文化方面取得相关成果。

在项目实施过程中，积极发挥数据治理委员会在广州银行数据领域的专业指导作用，通过统筹全行数据治理和数据应用工作，审议数据治理相关的重大事项、重要制度，确保了“广银芯”项目的数据治理资源配置，建立了数据质量控制机制，有效地指导了各业务部门负责本业务领域的数据治理。在“广银芯”项目中，充分发挥数据治理委员会的议事审议决策能力，先后多次召开数据治理委员会会议，针对“广银芯”项目中出现的外部数据采购、数据迁移和清理问题、数据标准明确、数据相关管理办法、数据建模效果进行了决策评审，切实推动了数据治理进程。

为了更好地服务“广银芯”项目建设，从制定流程保障项目依规按需推行目标出发，广州银行按照国家标准化政策及监管机构的要求，结合行内对数据标准治理的实际情况，先后发布《基础数据标准》、《指标数据标准》、《数据生命周期管理办法》、《数据安全分级管理办法》、《数据治理指引》等办法和指引。针对数据迁移工作，分别按照系统关联关系制作了迁移至各系统的关系图、迁移时序图、各系统迁移核对表清单、投产步骤操作指引、评审会议跟踪表、迁移操作细则、迁移方案等实施方案，从流程、操作上支持了数据迁移过程中可能涉及的各方面治理实践。针对数据清理工作，建立数据清理工作台账、各涉及系统的数据核对方案、各系统的清理治理方案、系统核对后产生的业务与技术沟通确认方案、各涉及系统的数据清理方案等，从流程、操作上支持了数据清理过程中可能涉及的各方面治理实践工作。

在“广银芯”项目过程中，结合最新外部监管要求、行内实际业务需求和系统实际情况，修订并升级完善了广州银行的数据标准体系，持续推动数据标准在四十多个系统中对标落标，并实施对业务系统数据库表的改造，满足数据交换共享的需求。并在《基础数据标准》发布后，每周及时根据行内各业务部门报送的数标变更情况，及时更新数据标准。

随着广州银行内部逐渐对各新建系统、存量系统开展数据标准对标落标工作，各系统按要求完成数据标准落标，数据标准小组同步开展各系统数据标准落标检核工作。利用广州银行统一的数据管控平台，实现了信息系统数据标准的自动采集元数据、自动分析数据库质量、自动检核字段落标情况、自动对比码值落标情况、自动出具完整的落标分析检核报告。

按照“广银芯”项目的历史数据迁移和数据清理计划，数据迁移（清理）小组确定了相关的主数据定义、分布和承载系统，一共完成了对新一代核心业务系统、企业级客户信息系统等数十个系统的数据迁移工作，完成了对客户信息、内部账务、监管报表等8个专题的数据清理工作，有力地支持了“广银芯”项目建设工作的顺利推进，配合数据标准的落地实施，实现了新建、重建系统的数据标准化、一致性、唯一性、完整性和可靠性。

通过统一的数据管控平台，对全行的数据进行梳理收集，包括但不限于各信息系统测试和生产环境的数据库元数据、系统数据接口、基础类数据标准、指标类数据标准业务数据检核规则、EAST报送数据检核规则、数据质量发现问题台账、数据质量问题解决方案、数据管理办法以及其它数据各类相关文档，逐渐使全行分散的数据形成资产目录，并通过可视化界面，让全行数据资产可看、可统计，有力地支持了各业务部门对相关数据的应用，使数据的使用流程线上化、自动化、便捷化。

在“广银芯”项目中，基于数据治理工作的扎实推进，逐步推动建设全行范围内的数据治理组织。各部门指定了1～2名数据治理专员，统筹和落实本机构的数据治理工作，配合数据治理办公室开展数据治理落地工作，并不定期向部门内工作人员宣贯数据治理的相关政策、要求和作用，组织相关的数据建模、数据应用培训，逐步培养起全行员工的数据治理文化和意识，积极从日常工作中寻找发掘与数据治理相关的内容，向上反馈推进涉及业务环节的优化提升，先后由此出现了若干的数据建模营销案例、数据应用专利、数据相关系统软著等，有力地促进全行的数字化转型道路。

下一步，广州银行将在推动数据治理工作常态化的基础上，以实现业务价值为导向，推动数据资产的价值释放，全面助力广州银行数字化转型发展。

注：本文于2022年1月19日刊发于微信公众号“BanTech智库”

-END-

       这是科技创新最好的时代，这是属于我们每个人最好的时代，关注“BanTech智库”，专注银行科技发展，探索无界金融生态！