在近期举办的数据+人工智能峰会上,Databricks正式发布无代码数据管理工具Lakeflow Designer(当前预览版),通过生成式AI助手与Unity Catalog深度整合,直击企业AI项目落地的核心掣肘——数据工程瓶颈。该工具旨在将ETL管道开发能力赋予数据分析师,释放数据工程师资源,加速AI用例交付。
AI赋能无代码ETL,重塑数据工程协作模式
Databricks产品管理高级总监Bilal Aslam指出,传统低/无代码工具虽能减轻数据工程师负担,但普遍存在治理缺失与扩展性不足问题。
Lakeflow Designer通过三大创新破解难题:
1.生成式AI辅助管道构建。分析师可通过自然语言交互,在可视化画布上快速生成ETL流程,AI助手自动优化Spark SQL逻辑,降低技术门槛;
2.企业级安全治理。依托Unity Catalog实现元数据共享、细粒度访问控制及审计追踪,确保合规性;
3.无缝工程协作。支持Git集成与CI/CD流水线,工程师可随时介入调试复杂逻辑,形成“分析师快速原型+工程师深度优化”的协同闭环。
Constellation Research首席分析师Michael Ni将其喻为“ETL领域的Canvas”,认为其“以机器级效率执行Spark SQL,同时通过权限管控保障企业安全”。ISG软件研究主管Matt Aslett则补充,该工具尤其适用于区域利润追踪、合规监控等标准化场景,复杂场景仍需数据工程师介入定制开发。
开放架构VS闭环生态:对标Snowflake OpenFlow
尽管Lakeflow Designer与Snowflake OpenFlow均瞄准数据工程自动化,但底层理念存在差异显著。
Databricks路径是,以Spark原生开放架构为核心,Lakeflow Designer深度集成声明式管道(Delta Live Tables演进版)与作业编排功能,强调灵活性与跨平台兼容性;
而Snowflake的策略是,通过OpenFlow构建深度优化的Snowflake原生工作流,侧重开箱即用的简化体验。
Aslett强调,Databricks的技术积累更具先发优势。Lakeflow Connect模块源于2023年对Arcion的收购,其数据管道能力历经多年迭代,而Snowflake OpenFlow尚处早期阶段。
双线并进,覆盖全周期管道需求
为全面覆盖数据工程需求,Databricks同步推出专业级IDE,整合代码编写、DAG调试、样本数据管理等全链路能力。专业分析人士认为,Databricks此举旨在推动“双轨战略”。
首先,在无代码侧,Lakeflow Designer加速简单用例落地,缩短价值实现周期;
其次,在代码侧,IDE满足复杂场景定制化需求,保障管道可维护性。
AI普惠化的数据基座
从整个行业发展来看,随着企业AI应用从试点走向规模化,数据工程效率成为关键分水岭。Lakeflow Designer的的“谋篇布局”,标志着Databricks正从单纯的数据湖仓平台,向AI驱动的数据操作层延伸。通过平衡易用性与治理能力,其有望助力企业突破数据工程“最后一公里”的瓶颈,真正释放数据与AI的融合价值。