农商行在快速发展中呈现出地域特色显著、服务“三农”为本、数字化转型加速、风险管理强化和普惠金融深化等特点。

　　随着业务的增长，农商行积累的数据越来越多，信息基础设施面临的压力越来越大。农商行运行的业务应用逐渐增多，速度变慢，效率越来越低。同时各应用间存在数据壁垒，共享不足，数据冗余，一致性、安全性差。

　　建设大数据平台，利用大数据产品技术，实现数据“集成”，形成“数据产品”，提升可用性和数据质量，提高用户体验，实现基于数据的创新和数据增值，适应大数据驱动数字化产业发展的目标，已经成为众多农商行的一个选择。

　　星环科技在农商行大数据平台建设中有众多的成功案例，其中携手某农商行让数据要素发挥更大价值，让某农商行在数字化实现逆袭，发挥数据要素的潜力，带动业务创新发展。

　　1.满足农村多元化的金融需求

　　某农商行作为地方性金融机构，其发展深受地域经济影响。该行紧密结合当地农业、农村和农民的实际需求，提供个性化的金融服务，体现了鲜明的地域特色。

　　同时，该农商行始终坚守服务“三农”的市场定位，致力于支持农业现代化、农村城镇化和农民增收致富。通过创新金融产品和服务方式，满足农村多元化的金融需求。

　　近年来，该农商行充分发挥自身优势，深入推进普惠金融发展。通过拓展服务渠道、丰富产品体系、降低服务门槛等措施，让更多农村居民和小微企业享受到便捷、高效的金融服务。

　　该行大力推进小额农贷、小额商贷、小微企业贷款三大授信，开办农房抵押贷款、林权抵押贷款、采矿权抵押贷款、应收款质押贷款、整借零还集镇住房贷款和规模农户、商户、企业联保贷款等贷款品种，着力破解客户抵押担保难题，服务地方经济发展，打造农民朋友的贴心银行、社区居民的亲情银行、中小企业的伙伴银行。

　　为此，该农商行积极拥抱金融科技，加大科技投入，推动数字化转型。通过建设线上渠道、优化业务流程、提升风控能力等手段，提高服务效率和质量，增强市场竞争力。

　　同时面对复杂多变的市场环境，该农商行加强风险管理体系建设，完善内部控制机制，提高风险识别、评估、监控和处置能力。同时，积极引入外部监管和市场监督，确保稳健经营。

　　主要挑战

　　随着业务的发展，该农商行员工不断增多，支行、分理处增多，服务地域范围不断扩大。同时，随着业务的增长，积累数据越来越多，信息基础设施面临的压力越来越大。目前银行运行的10多个业务应用速度变慢，效率越来越低。同时各应用间存在数据壁垒，共享不足，数据冗余、一致性、安全性面临挑战。

　　同时该农商银行非结构化数据利用不足，数据的使用以面向报表的分析为主，无法充分应用到更广泛的领域，如内部运营管理、生产经营、客户服务、产品设计等方面。实际运用中，一旦人员岗位、职责发生变化，权限、角色修改等就变得工作非常繁琐。

　　从本质上看，该农商银行的业务数据“割据”在每个业务系统之中，数据无法流动，难以形成“集成”的“大数据”和“数据产品”，数据可用性和数据质量无法带来良好的用户体验。同时，数据除了满足基本的业务用途之外，无法实现基于数据的创新和数据增值，更难以适应大数据驱动数字化产业发展的目标。

　　星环科技联合该农商银行建设大数据平台，利用星环科技自研大数据产品技术，实现数据“集成”，形成“数据产品”，提升可用性和数据质量，提高用户体验，实现基于数据的创新和数据增值，适应大数据驱动数字化产业发展的目标。

　　同时，该农商银行希望通过大数据平台建设，改变银行的管理模式，消除数据孤岛现象，实现数据共享，从而提高银行各机构的协同办公效率和企业用户办事效率，提升自我治理能力。依托大数据技术，加强市场监管，提高决策能力，提升公共服务能力，实现智慧银行管理目标。

　　2.构建湖仓一体的数据架构

　　主要架构

　　星环科技与合作伙伴一起，充分理解该农商银行大数据应用平台项目需求，以符合“国际领先标准、面向未来发展方向、贴合目前实际业务”为原则，以在关键业务发展上，逐步实现整合各项数据源，搭建数据集市，完成业务统计查询，搭建驾驶舱等为目标，基于星环科技大数据基础平台Transwarp Data Hub(TDH)和星环大数据开发工具Transwarp Data Studio(TDS)，设计了该农商银行大数据基础平台架构方案。

　　在此架构中，基于星环大数据基础平台TDH，构建湖仓一体的数据架构，其主要的数据服务核心为数据交换+数据湖+数据仓库的湖仓一体的数据服务架构。

　　数据交换层提供一站式的数据采集、数据同步、数据加工等满足外部数据、非结构化数据、T+1的下发数据、管理系统的数据、录入数据等各种类型的数据集成功能。

　　数据湖分为实时数据区、非结构化数据区、结构化数据区，分别完成用户实时数据的存储及服务、非结构化数据的接入及处理、结构化数据的接入存储，为银行内统一数据集散地，实现全行OneData的数据服务理念。

　　数据仓库为整个平台的主题数据区，按照金融行业数据模型(LDM)，进行标准化处理，并通过基础数据模型(PDM)和汇总数据模型(SUM)，实现全行统一数据口径的OneID的数据标准化化、唯一化。

　　数据集市区通过对迁移的应用的接口分析梳理、建设，以业务口径标准、技术口径标准、需求管理标准，实现同一业务对外统一接口服务的OneService的标准化、统一化服务理念。

　　星环科技的自研产品在大数据平台的不同领域发挥着重要的作用。

　　1)数据采集

　　星环大数据基础平台TDH支持批数据(数据库数据、文件数据)准实时/批量采集、流数据实时采集。

　　星环TDS中大数据整合工具Transporter是星环大数据平台的数据采集工具，支持从多种不同数据源获取数据，支持对数据做复杂转换并存储到大数据平台，同时也支持数据从大数据平台同步到Oracle、DB2、Mysql等多种数据库，支持高并发和高吞吐擅长大数据量的同步，还提供完整的权限控制机制，用于保证数据的安全。

　　在数据库数据采集上，Transporter内置了数据库的JDBC连接驱动，配置JDBC连接串及账号密码，即可直连到数据库获取数据。Transporter通过JDBC连接导出数据，并内置了Union、Except、Intersect、Aggregation、转换、过滤等多个算子，可以对数据做预处理。最后可根据需求场景，存入星环大数据平台的Inceptor、Scope、ArgoDB、Hyperbase数据库。

　　文件数据采集，Transporter支持从星环TDFS或本地主机上传的CSV、JSON、固定分隔符文件、列定宽文件文件进行读取，读取后同样可通过转换、过滤等多个算子做数据预处理，然后存入星环Inceptor、Search、ArgoDB、Hyperbase等数据库。

　　对于流数据采集处理，星环实时流计算引擎Slipstream提供流式数据计算功能，并具有良好的兼容性，用户可采用标准SQL做数据处理，极大降低用户的使用难度。对于流式数据，实时数据接入消息队列Kafka，利用星环科技Slipstream实时流计算引擎实时计算指标，实时指标数据可直接推送到应用系统和实时入库到ArgoDB、Hyperbase等数据库满足实时分析。

　　2)数据存储

　　数据存储与检索是大数据平台的核心。为更好地对数据进行存储和管理，星环大数据基础平台TDH提供了上下两层的数据存储机制。

　　下层为星环分布式文件系统TDFS。TDFS 提供了一个高度容错和高吞吐量的海量数据存储解决方案，采用三份副本策略保证数据的安全性和可靠性，支持文件数据、流数据、互联网数据的分布式存储与计算，同时支持Erasure Code以及TDFS文件加密。

　　上层由多个分布式数据库，包含关系型分析引擎Inceptor、宽表数据库Hyperbase、搜索引擎Scope、分布式图数据库StellarDB等。

　　对于关系数据，星环TDH提供了关系型分析引擎Inceptor进行存储和检索，有效解决了企业级数据批量处理和分析的各种技术难题，广泛应用于数据仓库和数据集市的构建，帮助企业快速构建和推广数据业务。

　　星环TDH提供了宽表数据库Hyperbase，可高效存储和检索键值和实时数据。Hyperbase为高并发检索分析以及事务支持提供平台级支撑，通过多种索引支持海量数据多维度的秒级检索查询，包括全局索引、全文索引、组合索引等，另外Hyperbase支持拓扑图数据存储提供图检索功能。

　　星环大数据平台提供了搜索引擎Scope进行存储和检索。Scope使用副本策略确保数据的可靠性与安全性，平台提供两种全文索引策略：一种是原始数据存储Hyperbase中，利用Scope建立全文索引;另一种通过Search Drive，数据与索引直接建立在Scope上，并结合Inceptor支持通过SQL进行数据的存储、检索业务。在平台存储层，支持各类结构化、半结构化、非结构化海量数据的低成本存储，为超长时间的海量历史数据存储和使用提供基础支撑。

　　对于图数据，星环TDH提供了分布式图数据库StellarDB进行存储和检索。StellarDB克服了海量关联图数据存储的难题，通过自定义图存储格式和集群化存储，实现了传统数据库无法提供的低延时多层关系查询。

　　对于文档、图片、音视频这样的非结构化数据，星环Hyperbase提供了objectstore的存储功能，可以将文档、图片、音视频这类非结构化数据存储在lob类型的列簇中。Lob类型同时解决了小文件造成的稳定性与性能的问题。

　　星环TDH的多模型数据管理平台，不同源的数据，仍然使用不同存储引擎存储，保障其高性能。不同的数据库，都架构在统一多模型数据平台中，跨库的关联分析不需要额外的数据导出导入过程，避免了数据冗余，使用十分便捷。

　　3)数据开发

　　星环大数据开发工具TDS提供了SQL开发的IDE工具Waterdrop。Waterdrop支持编辑SQL或存储过程，执行SQL并预览数据，同时提供关键字高亮、语法检查、格式化辅助等功能，有效地帮助开发人员提高SQL开发效率。

　　Waterdrop还可进行跨平台管理，可作为Inceptor SQL客户端，除了Inceptor还支持并兼容其余多种数据库。此外，Waterdrop还提供了一系列数据库开发和ETL工具，如存储过程测试器、数据导出工具、同源/异源数据库间数据传输等。

　　星环大数据基础平台TDH支持完整的SQL 99标准和SQL 2003核心扩展，支持Oracle PL/SQL 和IBM DB2 SQL/PL存储过程，SQL与存储过程支持Oracle、DB2、Teradata、HiveSQL等多种数据库方言。

　　星环任务调度软件Workflow支持工作流调度。Workflow很大程度上简化了工作流调度设计与管理工作，图形化的设计方式让作业任务之间的逻辑关系更清晰，调试和分析功能可以反馈任务执行期间存在的问题，任务定时触发使工作执行被自动化，把原来工程师负责的工作简化到业务人员也可以很快上手操作的程度。

　　3.发挥数据要素价值，服务业务创新

　　依托星环大数据基础平台TDH和大数据开发工具TDS，该农商银行构建了统一的大数据平台，为该农商银行未来的信息化建设和数字化转型提供了平台基础，为数字银行建设提供数据底座基础。

　　星环科技与该农商行合作，完成大数据平台架构设计和实施、大数据平台环境搭建，完成作业调度、数据采集等大数据平台开发管理工具。该农商行已经将原数据应用平台多个法人单位各近千张数据表采集迁移至大数据平台；帮助原数据应用平台营运商将原数据模型及对应的ETL加工程序迁移至大数据平台；帮助原数据应用平台营运商将应用迁移至大数据平台，应用适配大数据平台并能正常对用户提供服务。

　　同时，该农商行将原数据应用平台存量历史数据迁移至大数据平台，将省联社下发历史数据全部迁移至大数据平台，将精慧系统数据及其他系统数据迁移至大数据平台；将分散在各支行、部门数据迁移至大数据平台，实现与省联社下发数据平台自动采集下发数据功能，实现系统自动计算、分析和存储，并与各部门、各应用系统进行数据共享和系统对接。

　　该农商银行大数据项目成功经验：

　　统筹规划、统一标准。按照该农商银行的要求，项目坚持高起点规划、高标准建设、高效能起步，依据工作需要和实际建设能力，制定全行统一的大数据建设规划和标准，并积极推进统一规划和标准的贯彻落实。

　　坚持以需求为导向、以应用促发展。紧密结合该农商银行大数据创新发展需求，优先建设在线数据、公共数据、历史数据等平台，科学务实、规范高效地推进大数据建设。

　　整合资源、促进共享。在广泛应用基础上，对现有数据、平台进行科学分析和评审，在确保稳定运行的前提下，通过标准化、规范化建设，建立大数据平台，实现数据的统一存储和高效的查询，充分发挥大数据平台的效益。

　　加速应用迭代和数据价值反馈。采用小步快跑、快速迭代的方式，在主题应用方面，依托成熟应用、配合银行发展规划、分解银行短期目标、解决银行现有痛点，分期次逐步迭代完善;在数字化管理方面，围绕法人银行的经营目标，动态调整和发布，先解决数据整合和现有应用改造问题;在数字化风控方面，全生命周期数据辅助支撑，合理建模和迭代;在数字化营销方面，实现千人千面，平衡个性化和营销成本，通过客群分析筛选实现精准营销，通过即席营销反馈支持营销运营优化。