云计算·大数据 频道

数据治理2025年的趋势与展望

  序言

  2025年初,蓝天暖阳,春天正在走近。然而我们仍能感到经济的寒冷,全球政治波谲云诡,局部战争硝烟弥漫,贸易战此起彼伏,经济持续下行。在这样的大环境之下,企业经营面临外部环境的挑战,如何推进或保住主营业务,数字化转型要如何开展,数据治理要如何持续,如何持续以前的数字化投资,这都是企业管理在做预算规划时,所面临的战略难题。

  作为数据治理一线的参与者,通过我们遍布各行各业的客户群体,根据对当下数据治理进展的理解和观察,分享数据治理2025年发展趋势的观点,供您参考。

  目录

  序言

  1.数据治理的持续投资与深化应用

  2.数据治理的自动化与智能化

  3.架构驱动的数据治理

  4.数据治理左移与源头治理

  5.数据血缘治理

  6.数据资产的价值外延

  7.数据中台的归位,与数据治理的再融合

  8.数据安全,监管强化与信创

  其他观察与说明

  结语:数据治理人的使命

  01

  数据治理的持续投资与深化应用

  鉴于严峻的外部环境,特将数字化与数据治理的持续并深化作为一个首要趋势,它是后面八个趋势的基础。根据宏观机构报告,当下企业超越周期的策略,如果用两个字总结就是“经营”,2025年将是企业的运营之年,数据分析则是经营必备的手段,这个过程中数据治理在业务、IT和数据三个方面是必须要持续投资的:

  1)业务战略,聚焦主业

  在2025年,中国乃至全球很多行业都已经进入存量经济状态,企业选择聚焦主业,精简业务结构,提升核心竞争力。在全球经济下行和市场动荡中,专注于最具增长潜力的领域,优化资源配置,提升效率,才能在激烈竞争中立足并实现长期可持续发展。在这个背景下,进行数据治理,运用数字化和AI技术,加强精益经营,尤其是大型企业,这将是必然和唯一的选择,因为我们已经到了精益经营的阶段。

  图1:《企业经营ROI》

  2)IT战略,运营与管理

  在2025年,企业IT战略将聚焦于加强系统的业务运营和提升IT管理效率。通过优化现有系统,减少重复建设,将更多资源投入到业务赋能上,提升业务响应速度与创新能力。借助新技术推动业务增长,强化数据分析和自动化,确保IT与业务深度融合,助力企业在复杂环境中快速应变、持续发展。

  很多IT部门面临自证价值的窘境,需要从过去建设新系统进而功成名就的技术思维模式中走出来,多建立业务分析组织,加强与业务部门沟通能力。同时也建议加强架构管理,在应用系统上走向高质量建设,比如在老系统中置入数据洞察和AI助理,可能让业务有惊喜,而投入更少,风险更小。所以IT也应该更加关注数据治理和AI的应用。

  3)数据战略,去冗存精

  有人比喻数据是一把照妖镜,可以照出业务的真伪,也可以照出IT建设质量,更可以照出企业资源配置和业务产出(ROI)的关系,帮助企业决策哪里应该继续投入,哪里应该瘦身。然而在今天的大多数企业数据方面的投资还是很少的,可能是IT预算的几十分之一到上百分之一。让企业真的从数据中获得价值,吸引到更多投资,是数据部门的核心任务。

  总结一下,企业2025年将选择聚焦主体业务,持续用数据精准变革企业。数据人的使命是当好数据的管家,做好数据应用和数据管理上的提升,让企业数据素养水平可持续发展,辅助企业的业务经营的精益和提升。

  02

  数据治理的自动化与智能化

  如果说近年来有什么最令人期待的技术革新的话,那一定是AI技术。从机器学习(ML)进化到内容生成(AIGC),再到智能体(Agent),AI已经逐步应用到垂直行业和具化的业务场景中。

  图2:《人工智能时代的数据治理》,来自AWS

  按照DAMA经典理论,数据治理是PPT(不是PPT忽悠,是People,Process,Technology)的三要素的有机结合与运营闭环。人工智能驱动的数据治理(AI-Powered Data Governance)将是未来的趋势,有望从技术侧的技术革新,减少人员的投入和数据治理流程带来的溢出成本。然而需要注意的是,AI技术并不是数据治理开展不起来的企业的救命稻草,反过来数据治理可能是AI技术在企业应用的救命稻草,这是个很有戏剧性的逻辑,现在已经得到引证,未来会进一步显性化这个趋势。

  大模型已经逐步部署到企业,AI应用逐步落地,在数据治理领域也有很多探索。目前通过大模型和智能化的算法,在数据语义建模,数据标准化落标、数据质量监控、数据查询和清洗、ChatBI等领域,已经取得不错的效果,我们期待2025年有更多进展。

  03

  架构驱动的数据治理

  近年来,越来越多的企业将数字化转型和科技赋能上升至组织战略层面,从3A(业务架构,应用架构、数据架构)企业架构视角进行规划和实施,这是符合数据治理发展规律的趋势。

  在金融业,以银行业的建设银行数据架构方法(ABCD四层模型)为代表,我们看到了其新一代建设的十年后,在股份行和先进城商行进行持续实践和探索,在各行的新一代核心建设中,我们看到经典信息架构的思维,在数据管理领域,重提数据架构的管理与落地。这标志着无论是IT建设还是数据管理的工作,从系统局部走向企业全局,加强企业级别数据标准的统一,目标是实现“一点生成,多处共享,数出同源,口径一致”的管理要求。

  图3:《业务架构与信息架构的关系》

  在制造业,以华为的五层数据架构为代表,以业务对象为核心,通过将业务与数据紧密结合,实现了数据的有效管理和应用。具体来说,该架构从L1的主题域分组到L5的属性,逐步细化,确保数据的层次清晰和一致性。在制造业中,华为通过数据架构将生产管理、供应链、设备监控等业务对象进行数字化建模和管理,实现了数据的实时采集、分析和应用。通过数据的标准化和治理,华为确保了数据的准确性和一致性,为制造业的智能化转型提供了坚实的基础。

  数据治理本身就是企业级的,能够从架构视角出发是业界数据治理实践进步的表现,也是必然的发展趋势。需要注意的是企业仍需从自身出发,深刻了解TOGAF的精神和各种裁剪方案,制定适合自己的开展策略。不要陷入晦涩难懂的方法论陷阱和得其形不得其神的教条主义中。

  04

  数据治理的左移(Shift-Left)

  数据治理的“左移(Shift-Left)”与源头数据治理将成为2025年的数据治理的重要趋势之一。传统的数据治理多集中在数据采集后的数据清洗和管理,但近年来的数据治理实践发现,事后数据治理事倍功半,随着企业对数据质量和实时性要求的提升,数据治理的重心开始左移——从数据源头开始进行治理。

  图4:《Shift-Left Data Governance》

  数据治理左移(Shift-Left)和源头治理是同义理念,国内和国际的两种叫法。了解我们的朋友应该知道,我们从18年以来一直倡导源头治理的理念,并在各行各业有着广泛的成功案例。经常有以本企业对源端开发没有掌控,就认为不适用源端治理的观点,这其实是非常片面的理解,源头治理是一种思想,管控应用开发环节只是这种思想的具体举措之一。实际上这个思想之下,企业任何IT管理模式,都有适用的措施,只要数据对企业是重要的,是要使用的。

  源头治理意味着,在应用开发、数据采集、数据生产的初期就开始进行规范化管理,避免数据质量问题在后期出现。数据治理的左移不仅仅是技术上的转变,更是管理理念的转型,强调数据质量、数据合规和数据安全的早期介入,从而减少后期的治理成本。

  05

  数据血缘治理

  数据血缘治理(Data Lineage Governance)简单定义就是对数据从源头到终端的流动路径的管理和应用。随着数据量和复杂度的增加、监管要求的加强,以及数据驱动决策的重要性,数据血缘治理成为企业数据治理的重点,将成为2025年数据治理的重要趋势之一。

  数据血缘的作用可以简单地总结为以下五条:

  1)提高数据透明度:清晰显示数据的来源、流向和变更过程,确保数据的可追溯性。

  2)确保数据质量:帮助识别和纠正数据流转中的问题,保证数据的准确性和一致性。

  3)指标口径溯源:帮助确定指标加工的路径以及数据问题的根因分析。

  4)增强数据安全:通过监控数据流动路径,识别潜在的安全风险,防止数据泄露或篡改。

  5)促进数据驱动决策:帮助决策者理解数据背景和来源,提高分析结果的可信度和决策的准确性。

  图5:《基于算法和口径的血缘追溯》

  来自Datablau SQLink

  数据血缘管理并不是一个新的产物,而是一个存在二十多年的经典数据治理内容。那为什么在2025年会热门起来呢,原因是因为国内的数据治理到了一定阶段,就像街面已经清扫干净,开始关注地下管道的疏导一样,是数据治理深化的必然结果。

  那么建设数据血缘治理项目,有哪些注意的点呢

  1.数据血缘治理需要多团队结合,信任是关键

  数据血缘治理不仅是IT部门的任务,成功的实施需要跨部门的协作和管理, 也依赖于高质量的数据管理。一些企业在实施数据血缘治理时忽视了质量管理工作,只关注技术上的血缘解析,一旦链路不准确,进而影响到后续的分析和决策,则数据部门将失去信任,甚至背负问题责任。

  2. 自动化工具至关重要,但并非万 能

  在实施数据血缘治理时,普遍采用自动化工具来跟踪和可视化数据流动。自动化工具能大大提高效率,减少人工跟踪和记录的工作量,同时还能确保实时更新和监控数据流向。但是,一些复杂的业务流程或定制的数据处理方式可能无法完全通过现有工具自动化。因此,企业需要结合人工干预和工具的双重优势,以确保数据血缘的准确性和完整性。

  3. 数据血缘治理需要持续维护

  现在数据血缘技术基本是依赖于语法解析技术,然而数据库SQL语法也是一个不断升级的,所以需要一个持续的定期更新和维护,避免技术滞后导致的血缘不准确,影响分析结果的不准确和决策的失误。

  06

  数据资产的价值外延

  在数字经济时代,数据作为一种新型生产要素的地位日益突出,推动了数据资产的财政入表、数据生产要素化及基于数据空间的数据交易的快速发展。

  图6:《Data Space Architecture》,来自IDSA

  首先,数据资产的财政入表是指将数据作为国家经济的一部分纳入正式的财政核算体系。这一举措使得数据不再仅仅是企业的资源,而是具有公共价值和战略意义的国家资产。通过明确数据的经济价值,政府能够制定更加科学的政策,推动数据的合理利用与流通。

  其次,数据生产要素化将数据视为类似土地、劳动力和资本的核心生产要素。现代企业通过收集、分析海量数据来优化决策、提高效率,推动创新。例如,人工智能、机器学习等技术的进步离不开海量的高质量数据,这进一步强化了数据作为生产要素的地位。

  最后,基于可信数据空间的数据交易平台的兴起,推动了数据的流通与共享。通过这些平台,企业可以在安全合规的环境下交换数据资源,提升数据的利用效率。这不仅促进了不同领域的数据合作,也为各行业带来了创新驱动和竞争优势。

  总之,数据的财政入表、生产要素化及数据交易,正在推动数据资源的价值化与市场化,成为数字经济发展的重要推动力。

  07

  数据中台的归位,与数据治理的再融合

  2024年围绕数据中台产生了各种争议话题,有先知先觉的批判,也有恨铁不成钢的惋惜,甚至知名机构给打了个小红叉。作为行业20年数据治理的入局者,始终理性看待每个新技术新概念的出现,我们将数据中台回归本位,继续跟踪数据治理平台的发展与趋势:

  图7《Modern Data Warehouse》

  1.企业仍然需要数据汇聚与挖掘计算的基础平台,无论它叫数据中台,还是数智基建,亦或是现代数据仓库(我更喜欢这个叫法)。数据底座层面的技术仍在快速发展(如Lakehouse等),企业也有了更多选择,从实际出发,选择经典Hadoop系列,或是选择迅猛发展的MPP(如Doris),抑或是直接MySQL走起,只要适合企业情况即可。在计算方面,并行计算技术让数据处理越来越快,而维护成本越来越低。

  2.数据中台与数据治理的融合,数据中台是企业数据治理中非常重要的一部分,是DAMA车轮图中的一个辐条;但是反过来讲则不合适了,道理很简单,就像接不起业务变革这个责任一样,数据中台也接不起数据治理的责任。让我们建立标准化的整合模型,提供统一高质量的数据,提供高性能的数据访问,配合做好企业统一的数据治理,继续做好做强数据中台的本分工作。

  08

  数据安全,监管强化与信创

  随着数据安全的法律法规的发布,企业大部分实施了数据的分类分级,发布了内部的数据安全管理办法,这些措施已经在逐步发挥作用。

  监管强化也是明确的趋势,金融行业和银保行业的一表通,逐步发展到了T+1和在线监管的程度。大型的政府和央企组织也已经逐步增强监管的数据范畴,增加数据规则,提高数据的质量。

  信创,众所周知的原因,正在从核心软硬件到终端软硬件发展。

  其他观察说明

  篇幅有限,认知有限,还有很多趋势未观察到,并不代表这些不是未来方向。

  1.Data Fabric: 数据编织(Data Fabric)是一种通过构建统一的数据架构来实现跨系统、跨平台的数据访问与治理的技术框架。近年来被Gartner标记为趋势,企业受制于IT架构和发展水平,国内仍在探索期,尚未观察到显著案例。

  2.Data Mesh: 数据网格(Data Mesh)是一种去中心化的数据架构理念,强调将数据治理分散到各个领域中,而非依赖于单一的中心化平台。近年来新兴的概念,虽然被Gartner合并到Data Fabric,但是却有其理念的独特性。在国内仍在探索期,可能因为我们企业的现有治理架构之下,尚无法广泛建立这样的落地实践。

  3.Active Metadata Management: 主动元数据治理是指能够动态变化并具有自我更新能力的元数据管理理念。在国内仍在探索期,因为企业当前元数据的应用水平和数据使用的群体受限。

  4.Data Vault Modeling:DV模型是一种高扩展和离散式的建模范式,在国外有广泛的应用。在国内仍在探索期,这可能与我们实施数据仓库的方法与团队,以及云计算等应用有一定关系。

  结语:数据治理人的使命

  2025年,企业将迎来更加深刻的变革,数据治理人员肩负着推动企业数字化转型、确保数据质量与安全的重要使命。在这个充满挑战和机遇的时代,让我们勇敢地承担起这个时代赋予我们的责任,持续推动数据治理的深入实施,帮助企业在时代洪流中找到前行的方向。同时也不断提升自己,成就自己,共勉!

0
相关文章