云计算·大数据 频道

Lakebase湖库一体核心技术拆解:分支、同步与服务

  为什么力推Lakebase ?

  Lakebase 是一款全托管的 Postgres 数据库,因此任何写过 SQL 或使用过 ORM 的开发者都能无缝上手。它的独特之处在于底层架构:存储与计算分离,数据库与您的湖仓数据并存,并受统一的 Unity Catalog 治理。这实现了传统 Postgres 难以轻松做到的三大功能:

  分支(Branch):Lakebase 的分支就像 Git 分支一样。基于写时复制(Copy-on-Write)技术,新分支可秒级创建,您只需为变更的数据付费,且创建分支绝不会影响生产环境的性能。

  同步(Sync):同步表会将 Unity Catalog 中的表持续复制到 Postgres 中作为只读表,让应用能以低延迟查询湖仓数据(这通常被称为“反向 ETL”)。反之,Lakehouse Sync 也能通过变更数据捕获(CDC)将 Postgres 表的变更实时写回 Unity Catalog 的 Delta 表中。

  服务(Serve):Lakebase 可以存储应用状态,通过 pgvector、PostGIS 和 pg_trgm 等扩展支持搜索,并作为 Databricks 在线特征存储(Online Feature Store)的底层存储,为实时机器学习提供支持。

  这三大功能完美对应了两个关键赛道:赛道 1 专注于“分支与应用构建”;赛道 2 专注于“同步与实时服务”。在这两个赛道之下,Unity Catalog 统一管控数据权限,无论数据是在 Notebook 中被查询,还是被生产应用读取。

  赛道 1:使用 Lakebase 分支构建应用程序

  面向对象:应用开发者。他们负责构建应用、API 和 AI 智能体,过去往往要在“缓慢的共享暂存数据库”和“为每个开发者创建昂贵的独立副本”之间做艰难抉择。分支功能彻底消除了这种妥协。每个 Lakebase 项目都从生产分支开始,您可以随时创建子分支用于开发、测试或实验。由于采用了写时复制技术,大型数据库的分支几秒内即可就绪,且只有变更部分才会占用新存储空间。本赛道的团队利用 Genie Code 构建应用,并将分支视为生产环境廉价且可随时丢弃的副本。

  Jevons Search(Lyft)随着 AI 智能体开始处理生产数据,一个严峻的问题浮出水面:智能体在不知道数据库底层业务规则(触发器)的情况下,可能会盲目执行退款、取消预订或关闭工单等操作。Lyft 的 Jevons Search 项目为智能体提供了一个专属的 Lakebase 分支。对于每一批待处理的工单,智能体会在约 6 秒内克隆出一个生产环境的写时复制分支,在分支上执行动作,读取数据库的实际反馈并进行自我调整。该系统没有使用大语言模型(LLM)进行规划,而是采用了一个基于 gte-large 嵌入模型构建的轻量级分类器(通过 MLflow 追踪并在 Model Serving 上提供服务),将工单归类为 8 种策略之一,运行时零 Token 消耗。在合成数据集测试中,仅靠 LLM 预先规划只能完美解决 11 个积压工单中的 2 个;而结合分支上的真实数据库反馈后,成功解决了 10 个。团队还验证了该项目背后的理念:Lakebase 的分支速度极快(同等时间内产生的分支数是其他系统的 4 倍多),但增加分支数并未带来更高的通过率。精准的决策加上数据库的真实反馈,最终战胜了“暴力破解”。

  Branchflight(CIBC)CIBC 构建了 Branchflight 平台,为每个 Pull Request(PR)提供独立的预览环境。当 PR 开启时,Branchflight 会在 5 秒内从一个经过 PII(个人敏感信息)脱敏的模板分支创建一个零拷贝的 Lakebase 分支,并部署连接的预览版 Databricks 应用。环境在无人使用时会自动缩容至零,超时后自动过期,并在代码合并前进行 Schema 差异检查。该平台自身的状态、审计日志和成本指标也全部存储在 Lakebase 中。

  Arbital Health任何将 Text-to-SQL 技术推向用户的团队都应该思考:Schema 本身对准确率的影响有多大?他们的基准测试项目 7NF 保持数据不变,仅改变 Schema,每个布局都作为独立的 Lakebase 分支运行。模型仅根据“是否返回正确行”进行评分,这让团队能够为客户数据库挑选最 佳 Schema,或借此改进自己的 Text-to-SQL 模型。

  意想不到的分支应用场景

  OneTrust:将防火墙规则视为代码,把分支引入网络安全。为了在不影响现有设施的情况下评估更改,他们用 Go 应用启动了一个写时复制分支,分配专属计算资源并连接测试实例,运行递归可达性查询和策略检查。测试中扩大攻击面的规则会被立即丢弃,验证通过的规则则直接合并入生产环境。

  BranchCut(CIBC 另一团队):一个 3D 电影制作工作空间,将 Git 风格的分支与合并引入创意工作。创作者可以从场景的任意节点分支,尝试不同的镜头或灯光,并排对比版本,最后将最 佳版本合并回去。Lakebase 负责追踪项目、分支、场景状态和合并历史。

  StreetCart(Reach Mobile):一款帮购物者比较附近商店价格、距离和库存的应用。Lakebase 作为运营数据库,Lakebase Search 提供商品发现功能。团队在修改生产环境 Schema 前,利用分支功能安全地测试了新的商品分类属性。

  赛道 2:将 Lakebase 连接到湖仓

  基于 Lakebase 构建只是故事的一半。另一半则是:当运营数据库和湖仓不再是孤立系统时,会发生什么?面向对象:数据与机器学习工程师。他们负责构建数据管道和模型,过去通常需要单独搭建一条路径,才能在毫秒级延迟内将数据喂给应用和服务。这个项目旨在弥合这一鸿沟。

  通过托管的 Spark 声明式管道,精选的 Unity Catalog 数据会被移动到 Lakebase Postgres 中,供应用与自身表进行关联。同时,Lakebase 的变更数据流(CDC)会反向回流,将 Postgres 的变更实时流式写入 Delta 表供分析使用。由于 Databricks 在线特征存储运行在 Lakebase 上,湖仓中定义的特征可以直接实时提供给模型。

  PriceWise(Data Axarle)度假租赁房东通常设定固定的每晚价格,但需求却随季节剧烈波动。Data Axarle 通过分析超 1.8 万个房源,发现房东们大约损失了 64% 的潜在收入。PriceWise 结合了混合搜索(pgvector 向量检索 + BM25 关键词检索,通过互惠排名融合),基于 4 个需求驱动因素(包括 PostGIS 对 20 英里内房源的地理对比)提供定价建议。它还内置了 Genie 智能体,能回答“顶 级竞争对手提供哪些设施”等问题。每次对话都会作为智能体记忆存档于 Lakebase,让房东能接续上下文。搜索、定价、智能体记忆和功能服务全部运行在一个通过同步表保持实时更新的 Lakebase 数据库上,定价响应仅需 4 毫秒,房东的决策也会实时写回 Lakebase。

  实时航班风险应用(某运输公司)该团队将流式数据转化为实时运营视图。他们将 Unity Catalog 中的航班、机场和天气预警表同步到 Lakebase,驱动 Databricks App 中的实时地图。这完美展示了同步表如何让原本用于分析的管道,同时赋能运营级应用。

  保单签发后检查分诊演示(某保险公司)该团队专注于保单签发后的“盲区”。风险评分通常在生效前完成,但没人能预料到后续检查会发现什么。他们的应用会评估每次签发后检查导致保险公司采取行动的概率,并对检查队列排序,确保高风险保单优先处理,并提供通俗易懂的原因说明。特征被定义为 Databricks 特征视图并从 Lakebase 在线存储提供服务,因此同一套特征定义同时支持了模型训练和实时评分。

  Sobeys构建了一个包含三个智能体的对话式购物助手。食谱智能体通过向量搜索寻找食谱;产品智能体使用模糊 Postgres 三元组搜索(pg_trgm)将食材与商店商品匹配;健康智能体则根据家庭过敏档案检查食谱。当你询问“适合花生过敏者的泰式食谱”时,应用能在一次对话中完成从找食谱、匹配食材到加入购物车的全流程。

  全局视角

  将这两条路径连贯起来看,你就能对 Lakebase 有全面的认知:1)开发者为 AI 智能体提供分支,而不是直接操作生产环境;2)平台团队在几秒内为每个 PR 分配专属数据库;3)数据工程师将精选表同步到 Postgres,驱动实时应用;ML 工程师只需定义一次特征,即可实时提供服务。

  这一切的纽带在于:Lakebase 并非独立于数据平台之外。 相同的 Unity Catalog 治理机制同时适用于湖仓表和 Postgres 服务表;驱动仪表盘的数据,同样能驱动应用、智能体或模型。多个团队用 Lakebase 直接接管了原本独立的系统(如搜索索引、暂存数据库或手动同步任务)。

  附常见问题:

  Q:什么是 Databricks Lakebase?

  A:Lakebase 是一款专为湖仓一体架构打造的全托管 Postgres 数据库。它实现了存储与计算分离,数据库与湖仓数据并存并受统一的 Unity Catalog 治理。任何写过 SQL 或使用过 ORM 的开发者都能立即上手。

  Q:Lakebase 的数据库分支是如何工作的?

  A:就像 Git 分支一样。每个项目从生产分支开始,利用写时复制技术秒级创建子分支。您只需为变更的数据付费,且创建分支绝不影响生产环境性能。

  Q:什么是 Lakebase 同步表?

  A:同步表将 Unity Catalog 表持续复制到 Postgres 中作为只读表,让应用低延迟查询湖仓数据(即反向 ETL)。反之,Lakehouse Sync 也能通过 CDC 将 Postgres 变更实时写回 Delta 表。

  Q:Lakebase 能支持搜索和实时机器学习吗?

  A:可以。它支持 pgvector、PostGIS 和 pg_trgm 等 Postgres 搜索扩展,并且作为 Databricks 在线特征存储的底层,能让湖仓中定义的特征实时提供给模型。

         原文链接:https://www.databricks.com/blog/branch-sync-serve-what-our-lakebase-hackathon-taught-us-about-building-lakebase


 

0
相关文章