云计算·大数据 频道

全速进化,Amazon Bedrock成为全能模型工具技术栈新典范

  近两年,生成式AI发展日新月异,当其他“参赛选手”还在单个大模型性能、耐力层面进行比拼时,亚马逊云科技凭借基础设施、模型工具和应用三层技术栈的全面部署,已经开始将生成式AI快速引入实际业务场景。

  虽然,Amazon Bedrock从推出到现在还不到一年,但用户数量已经呈现出规模化增长态势。从亚马逊云科技re:Invent 2024大会发布来看,关于生成式AI的最新进展,可以用两个数字来概括:数以万计和5倍。如今,Amazon Bedrock已不只是大模型应用的训练场,而是已经成为承载实际业务的关键技术底座。据亚马逊云科技CEO Matt Garman介绍,每天都有上万的客户在生产应用中使用Amazon Bedrock,仅去年使用量就增长了近5倍。

  Amazon Bedrock之所以快速获得大量用户认可,除了亚马逊云科技深谙客户痛点,在战略战术做到高瞻远瞩之外,更深层次的原因是全能模型工具技术栈的大量投入。在过去8个多月的时间里,亚马逊云科技对Amazon Bedrock(发布于2023年4月)进行了一系列重大更新,并且在大会期间集中发布了21项新特性,这些新特性既包括模型选择的全面升级,又包括成本、速度、准确率的全面优化,以及业界备受关注的安全、多智能体协作等功能的全新进阶。

  1、模型选择全面升级

  与诸多大模型公司相比,Amazon Bedrock的差异化优势在于模型选择的丰富性,这种按需选择模型的方式,更易于私有数据的使用。

  为了提供更多样化的选择,进一步降低大模型的使用门槛,亚马逊推出业内领先大模型Amazon Nova系列。用户通过Amazon Bedrock可以访问Amazon Nova的6款模型,以应对不同的使用场景。这些模型包括:1)文生文模型Amazon Nova Micro,可以以极低的成本提供最低延迟的响应;2)成本极低的多模态模型Amazon Nova Lite,在处理图像、视频和文本输入时速度极快;3)功能强大的多模态模型Amazon Nova Pro,在广泛的任务中具有准确性、速度和成本的最 佳组合;4)亚马逊多模态模型中最强大的模型Amazon Nova Premier,可用于复杂推理任务,并用作蒸馏自定义模型的最 佳教师模型;5)先进的图像生成模型Amazon Nova Canvas,可根据提示中提供的文本或图像创建专业级图像;6)先进视频生成模型Amazon Nova Reel,允许客户轻松地从文本和图像创建高质量视频。

  我们可以把Amazon Nova理解为是对标业界领先大模型的Mini杯、中杯、大杯版,并且这些大模型均来自亚马逊实际业务场景的验证,用户可放心使用。从大模型应用表现来看,Amazon Nova Micro、Lite和Pro在各自智能类别中不仅性能好,而且更便宜,价格上至少便宜75%,是对应类别速度最快的模型。除了上述6款模型外,亚马逊还预告了另外两款新模型:一款是,预计在2025第一季度推出语音转语音模型;另一款是,在2025年中推出any to any模型。可以预测,2025年的Amazon Nova将成为“模界卷王”,通过新特性的全面升级,支持用户实际业务场景的各种创新。

  除了Amazon Nova系列模型在不同场景的部署,亚马逊云科技也在为接入更广泛模型而发力。用户可以在Amazon Bedrock中访问Luma AI的Ray2、poolside的malibu和point、Stable Diffusion 3.5等新兴模型;通过最新推出的Amazon Bedrock Marketplace,亚马逊云科技还提供100+热门、新兴及专业模型的访问权限,比如Mistral AI的Mistral NeMo Instruct 2407、Technology Innovation Institute的Falcon RW 1B以及NVIDIA NIM微服务等热门模型;包括更多更多专业模型,例如:金融行业的Writer的Palmyra-Fin、用于翻译的Upstage的Solar Pro、Camb.ai的文本转音频MARS6以及用于生物学的EvolutionaryScale的ESM3生成模型等。

  从Amazon Bedrock、Amazon Nova以及之前的Amazon Titan整个模型家族的发展方向来看,亚马逊云科技正在坚定地践行“全家桶”策略。不管用户想用生成式AI解决哪些业务挑战,都可以借助Amazon Bedrock找到适合自己的那一款。

  2、成本、速度、准确率全面优化

  加快推进大模型应用落地,除了模型选择上存在问题,成本、速度和准确率也是一大挑战。

  过去一年里,很多客户已经在做大量场景实践,尝试把大模型应用引入实际业务。在亚马逊云科技大中华区产品部总经理陈晓建看来,2025年将迎来大模型应用落地的关键年,从原型验证阶段转化为生产阶段,是大模型发展的必经之路。届时,客户需求将更加复杂,不仅是选择模型,还需要各种技术支持。所以,Amazon Bedrock要发挥的作用是,不仅要提供模型,更重要的是提供模型推理运行时所需要的各种生产力和生产环境工具,这才是Amazon Bedrock的真正价值所在。

  此种背景下,Amazon Bedrock提供了以下能力更新:

  1) 提示词缓存功能。Amazon Bedrock现已支持安全地缓存提示词,从而减少重复处理,且不会影响准确性。对于受支持的模型,此功能最高可将成本降低90%,并将延迟最多缩短85%。

  2) 提示词智能路由功能。借助该功能,客户能配置 Amazon Bedrock 自动把提示词分配至同一模型系列里的不同基础模型,以优化响应质量和成本,并且在不影响准确性的情况下,将成本降低多达30%。

  3) 模型蒸馏功能。在多模型使用场景中,找到一个能平衡特定知识、成本和延迟的最 佳组合并不容易。大模型知识丰富,但响应慢、成本高;小模型速度快、成本低,可功能又不够强大。模型蒸馏能把大模型的知识转移到小模型上,同时保留小模型的性价比。只是这需要专业的机器学习知识来处理训练数据、手动微调模型,还得在不影响小模型性能的前提下调整模型权重。而有了Amazon Bedrock模型蒸馏功能,客户不用专业的机器学习知识,就能根据自己的用例优化模型。与原始模型相比,被蒸馏模型的速度可以提高500%,运行成本降低75%,在检索增强生成(RAG)等用例中,准确性损失低于2%。

  4) 低延迟优化推理功能。基于Amazon EC2 Trn2实例,利用最新硬件和软件优化,可在多模型上实现更好的推理性能。用户指定推理请求优先级后,平台就可以自动处理,为支持的指定模型提供优化的性能。

  3、专有功能的再进化

  要想把大模型快速引入生产场景,需要借助海量数据进行训练和学习。而知识库中的知识通常与特定领域或者任务密切相关,因此具有更高的实用性,可以为大模型提供准确、全面的背景知识支持,帮助大模型更好地理解和处理输入。

  只是,传统的知识库只支持结构化数据,很难被大模型快速使用。所以,Amazon Bedrock的知识库功能新增了对结构化数据和GraphRAG的支持,并能够将非结构化多模态数据转换为结构化数据,极大地降低了数据处理的复杂性。

  基于Amazon Bedrock知识库功能更新,用户能够更方便地借助检索增强生成(RAG)来提升模型响应的准确性。同时,凭借对GraphRAG的支持,知识库可让客户无需具备图数据库专业知识,即可使用Amazon Neptune图数据库服务自动生成图谱,并跨数据链接各实体之间的关系,生成更具相关性的响应。而在更具挑战的非结构化数据支持上,Amazon Bedrock Data Automation功能能够快速且经济高效地从非结构化的数据文件中提取信息,并将其转化为结构化格式,以适用于智能文档处理、视频分析以及RAG等场景。

  要想提升大模型体验,除了要面对知识库数据应用的挑战,还要解决“幻觉”问题。以前大模型缺乏可证明事实的逻辑,导致出现幻觉时难以纠正。有了Amazon Bedrock自动推理检查功能后,可通过逻辑准确且可验证的推理来帮助防止因模型幻觉而导致的事实性错误。自动推理检查功能通过Amazon Bedrock Guardrails提供,该功能可让Amazon Bedrock验证事实响应的准确性,生成可审计的输出,并向客户清晰展示模型得出结果的原因,极大地提升了大模型应用的透明度,确保模型响应符合客户的规则和政策,从而提高用户对生成式AI的信任。

  展望未来,大模型能否规模化走进企业的实际生产场景,考验的是多智体协作能力。凭借Amazon Bedrock多智能体协作功能,客户可以通过为项目的特定步骤创建和分配专用智能体,从而获得更准确的结果,并通过编排多个并行工作的智能体来加速任务。例如:金融机构在使用智能体对一家公司进行投资调查时,可以使用 Amazon Bedrock智能体创建专注于特定任务的专用智能体,同时通过主管智能体负责协调工作,并制定整体风险概况。

  小结

  从模型选择的全面升级,到成本、速度、准确率全面优化,再到知识库、Agent智能体以及多智能体协作功能的再进化。不难发现,亚马逊云科技所有创新都围绕用户需求展开,并且每一条新特性都直接切中当下生成式AI领域的痛点。性能比肩世 界一流大模型,性价比超群。走到今天,亚马逊云科技已不只是云服务的第一选择,更为全能模型工具技术栈的打造创立了新典范。

0
相关文章