将数据产业中的问题放在前台，数据工程师22%的时间用于创新，但78%用于错误和手动执行（Gartner 2022）。Eckerson的一项调查发现，超过79%的项目存在太多错误，应对这一挑战带来了采用DataOps的巨大价值。

　　欢迎来到充满活力的DataOps世界，这种创新的方法融合了敏捷开发的灵活性、DevOps的稳定性和统计过程控制的细致性，从而实现了一个真正卓越的动态、丰富和灵活的数据生态系统。

　　从历史上看，自动化一直是数据行动领域的焦点。但当我们在不断变化的数据海洋中航行时，是时候重新设定路线了。我们必须采取一种开拓性的、特别有效的战略，即使在实现自动化之前，我们也要优先考虑“数据之旅”的复杂性和细微差别。

　　欢迎来到我们自豪地称之为“数据之旅优先DataOps”变革，这不仅仅是一种方法，更是一场革命，每一个数据、工具、服务器和步骤都成为一个有意义的故事的一部分，并增强了我们数据计划的整体价值、影响力和信任。

　　“数据之旅优先DataOps”的原因和方式

　　让我们从“为什么”开始，如今的企业承受着前所未有的压力。随着数据需求的增长和时间的缩短，数据分析团队需要在不彻底改变其既定系统的情况下快速交付价值。最初的繁重工作通常涉及到完整的DataOps自动化，可能过于耗时和破坏性。

　　数据操作自动化的障碍

　　输入“Data Journey First DataOps”，这里的想法是首先关注理解和观察数据在生产环境中的过程——从摄入到处理，再到提供可操作的见解。此监控过程可识别数据错误、工具问题和时间问题，通过推动即时改进，实现DataOps实施的快速胜利。

　　减少生产错误可提高数据的可靠性，并使你的团队有更多时间专注于自动化。所有这些都必须在几天内发生，而不是几个月。那么，接下来要讲的五大支柱即可以定义团队如何在较少的工作下快速获得价值，且不会很大地改变他们在生产中已经完成的工作。

　　数据之旅优先DataOps：综述

　　DataOps的第一步不是实施DataOps自动化技术或部署尖端的数据管理平台。相反，它专注于一个不起眼但关键的元素——降低生产数据旅程中的错误。术语“数据之旅优先DataOp”概括了这一理念。

　　DataOps概念：前沿的数据之旅

　　观察生产数据之旅：这一步涉及对你的生产数据产业的深入和持续了解。主动监控整个数据旅程超越了数据来源和落地的静态数据线。它增加了对数据如何流动、转换、丰富和消费的动态理解。它允许你通过主动验证进行信任。通过全面而积极地观察这些数据之旅，你可以及早发现问题，简化流程，并做出明智的决策。

　　降低生产中的错误：专注于数据之旅有助于查明生产数据、工具和可交付成果中的错误、不一致和延迟。数据工程师可以通过及早发现并迅速解决这些问题来降低生产中的错误率，从而提高数据的整体质量，提高从数据中得出的见解的可靠性。

　　在第二步中为自动化创造时间：通过优先考虑你的数据旅程，可以让你的团队在进入第二步——自动化之前解决影响数据产业的基本问题。这一顺序确保团队在时机成熟时能够更有效地利用自动化。

　　自动化第二数据操作：下一步

　　一旦我们建立了稳定、充分观察的数据之旅，我们就可以进入第二阶段：“自动化数据操作”DataOps自动化的第一、第二和第三管道开始发挥作用，旨在提高生产力和缩短周期。

　　Meta编排您的生产管道，以组织整个数据分析工具链。

　　自动化部署管道，实现快速开发。

　　自动化环境管道以实现可重用性、安全性和开发速度。

　　DataOps自动化第二个概念：环境、部署和生产

　　自动化数据操作显著缩短了周期。它加快了生产数据系统进行小规模、低风险更改的能力，实现了更快的决策，并通过释放数据团队专注于通过快速迭代进行学习来提高生产力。但请记住，只有在“数据之旅优先DataOps”奠定基础的情况下，这一步骤才能切实可行。

　　数据之旅优先DataOps的好处

　　选择数据之旅优先的DataOps方法至关重要，因为：

　　完成这件事既简单又快捷。

　　大多数数据团队经常被任务淹没，并有紧迫的客户需求。他们需要有价值的、快速实施的DataOps解决方案，而不需要大幅改变现有的解决方案。实现数据之旅是第一步。

　　它最大限度地减少了对现有“竣工”数据产业的干扰。

　　竣工数据和分析系统有许多步骤来为全面的DataOps自动化做准备。团队在没有对部署管道、环境管理和生产管道协调进行足够投资的情况下，匆忙制定生产解决方案。这些差距导致需要在不造成重大干扰的情况下解决主要痛点的解决方案。

　　你不厌倦到处看到由小盒子组成的建筑图吗？

　　在数据之旅中，从未有分析客户说过“我想要更多的数据错误”！

　　数据工程师22%的时间用于创新，但78%用于错误和手动执行（Gartner 2022）。Eckerson的一项调查发现，超过79%的项目存在太多错误。

　　应对这一挑战带来了采用DataOps的巨大价值。

　　大多数组织都希望他们的第一个DataOps项目能够以较小的工作量和对现有运营的最小更改快速交付重大价值。数据之旅既快捷又易于实施。

　　减少生产错误提供了DataOps整体价值的很大一部分

　　它可以降低团队的压力，从而做出更根本的改变。

　　据调查显示，2022年对700名数据工程师进行的一项调查发现，52%的数据工程师表示，错误是倦怠的重要来源。数据工程师处理数百个数据集和各种客户需求。他们的日常任务清单上有积压的工作。因此，他们没有时间或精力了解每个数据集或客户，无法创建强大的生产数据验证测试。他们看不到整个数据之旅。他们需要帮助创建数据测试并观察整个数据旅程才能取得成功。

　　它为改进部署周期奠定了数据验证和测试基础。

　　在一个复杂、失败和沮丧的世界里，数据和分析团队需要在没有错误和高变化率的情况下向客户提供洞察力。他们必须以低风险快速地将小的更改、新的数据集、新的工具和更新的代码部署到生产中。从启动数据分析任务到完成和部署，周期时间是影响组织生成见解和做出数据驱动决策能力的关键指标。更短的周期时间使决策过程更加敏捷，并使组织能够利用新兴趋势或机遇。测试、观察和监控生产数据之旅提供了可用于改进部署的测试和异常监控功能。

　　总结

　　数据团队通常需要更多，他们希望在不大幅改变现有制度的情况下获得快速、有价值的援助。“数据之旅优先DataOps”方法完全符合这些需求。

　　自动化提供了DataOps整体优势的一部分

　　DataOps对于数据团队的重要性不言而喻，云原生技术下的DataOps方法论实践，以云原生的方式在平台上运行大数据应用，使数据不再孤立地分布于多个云的孤岛中，从而可以从任何地方流畅安全地进行移动，并以一致、整体的方式管理数据从准备到报表阶段的整个生命周期。

　　Kubernetes Data Platform（简称KDP），作为市场上可完全在Kubernetes上部署的容器化云原生大数据平台，深度整合了云原生架构的优势，将大数据组件及数据应用纳入Kubernetes管理体系，标准化系统管理，提升系统运行效率，降低运维成本，消除应用孤岛及数据孤岛，解决传统Hadoop大数据平台在部署、运维，运行效率上由于架构限制带来的难点。

　　当然，“Data Journey First DataOps”是一种承认数据和业务团队当前限制的理念，并提出了一种提供快速、实质性价值的解决方案。无论您是“引领数据之旅”、“确定数据之旅的优先级”，还是简单地“将数据之旅放在数据运营的首位”，请记住，目标是在今天实现快速胜利，同时为明天更强大、自动化的数据运营格局奠定基础。第一个成功的DataOps实现是关于快速获胜以降低错误，并为下一个改进阶段创建基础元素，即自动化DataOps。