随着工商银行数字化转型工作的深入推进，业务用数的复杂度和时效要求全面提升。为满足更复杂的用数逻辑和更高时效要求的应用场景，工商银行软件开发中心以数据、技术双要素为驱动，持续提升技术支撑能力，近日正式发布企业级实时数仓服务，实现数据端到端延时最快可达分钟级的加工能力，切实提高数据处理时效，为各类决策提供更加实时、精准的数据支持，助力数字工行建设。

　　一、打造实时数仓核心技术支撑能力

　　随着各类用数场景中对数据时效的要求越来越高，基于批处理的离线数仓的T+1时效已经难以满足业务的需求，即使将调度频率设置成15~30分钟级，也只能解决部分时效性要求不高的场景。近几年逐步发展的实时数仓技术是一种用于存储和处理实时数据的系统，具备实时进行数据处理和分析的特点，可以实时响应用户的查询和分析需求，满足更高时效需求的应用场景。

　　工商银行大数据平台实时数仓通过引入业界新技术，提供实时采集、实时计算、实时分析三大服务，形成面向业务实时变化的数据处理解决范式，打造分钟级数据入湖能力，进一步提升数据加工时效，降低高时效场景的研发门槛，拓展了各类复杂实时分析场景的支撑能力。

　　1 实时采集

　　实时采集是指从业务系统实时地采集数据并写入大数据平台的能力。工商银行大数据平台实时数仓提供实时流式入湖模式，通过数据复制技术将业务原系统数据复制写入分布式消费服务平台，数据湖通过订阅消息队列，消费数据入湖。

　　2 实时计算

　　实时计算是指对消息队列或实时数据湖中的数据进行实时计算和统计的能力。工行大数据平台采用Flink、Spark等计算引擎对贴源层中的数据进行增量加工，提供低研发门槛的分钟级实时加工模式，流批数据融合应用，显著降低开发门槛，使得高时效场景研发成本大幅降低。

　　3 实时分析

　　实时分析是指对实时采集、实时计算的数据进行在线分析和查询的能力，支持BI工具通过交互式分析引擎开展数据实时分析，同时也支持将实时采集、实时计算的结果同步至分析型数据库（ClickHouse，Guass等）开展分析，显著提高分析师用数时效性，如图1所示。

　　图1 实时数仓的优势

　　二、一站式实时数仓开发工作站

　　工商银行大数据平台基于实时数仓系统提供流批一体的数据研发模式，并提供一站式实时数仓开发工作站（如图2所示），只需通过SQL方式即可完成实时作业的开发，显著降低实时作业开发复杂度，使得高时效数据加工场景能够实现规模化应用。

　　图2 一站式实时数仓开发工作站示意

　　三、典型应用场景

　　基于实时采集、实时计算、实时分析服务能力，工商银行大数据平台提供多种实时数仓典型范式，帮助总分行应用从自身高时效业务场景出发，找到与之匹配的解决方案。目前已面向“3+3”战略工程中相关的重点业务场景开展时效提升工作，支撑多个业务场景数据处理时效从T+1天提升至分钟级。在信贷信息服务系统中，实时统计各分行贷款还款情况，支撑各分行实时掌握存量贷款余额，并为后续保证金、拨备等准确发放提供实时数据参考（如图3所示）。在法人客户营销系统中，实时统计资金流入流出情况，供法人客户经理便携获取，掌握客户的资金变动情况，挖掘客户资金变动规律，更好地帮助客户合理管理资产，拓展新的营销点。

　　图3 在信贷信息服务场景中的应用示意

　　后续，工商银行软件开发中心将持续推进大数据平台实时数仓能力建设，在运营观测能力、资源利用率以及新型计算引擎引入等方面不断提升，以支撑实时数仓技术规模化推广，满足工商银行各类数字化场景与应用的用数时效，加速推进全行数字化转型进入新阶段。