云计算·大数据 频道

大模型“淘金热”背后,带火亚马逊云科技的不只是算力

  如今,大模型到底火爆到什么程度?我们很自然地联想到175年前美国加州的“淘金热”。当无数人怀揣“一夜暴富”的梦想去加州寻找黄金,一些卖生活必需品的人却赚得盆满钵满。所以,很多人判断,大模型如火如荼之后,受益者是一些卖算力的云计算企业。

  没错,在大规模深度学习模型的训练和推理过程中,需要处理大量的数据和进行大量的计算,因此需要使用大量的计算资源来支持这些任务,算力是大模型在深度学习过程中最重要一部分。但是除了算力,一些领先云计算企业也在通过其他方式,比如通过基础模型构建能力,把AI创新推向更高阶段。

  基础模型快速“出圈”

  近日,大模型领域有一个新动态,位于阿联酋首都阿布扎比的全球领先科研中心TII(Technology Innovation Institute)在亚马逊云科技上训练了其性能卓越的开源模型Falcon 40B。

  熟悉开源大语言模型的人都知道,Falcon 40B是拥有400 亿参数的大语言模型(LLM),在Apache 2.0许可下提供,并在Hugging Face的开源大语言模型排行榜上位列榜首。该排行榜在多个基准测试中跟踪、排名和评估大语言模型,最终评选出优秀模型。

  对于广大用户来说,Falcon 40B部署到亚马逊云科技上,意味着拥有了一站式模型构建能力。企业现在可以将Falcon 40B部署在Amazon SageMaker JumpStart上,这是一个机器学习中心,提供预训练模型,企业无需从头构建自己的模型即可获得Falcon 40B先进的准确性和行业领先的性能。

  Falcon大语言模型提供两种不同规模的开源版本——Falcon 40B和Falcon 7B, 两者均是使用Amazon SageMaker的数据预处理和模型训练任务从零开始构建。开源的Falcon 40B让用户能够构建和定制满足独特用户需求的AI工具,便于无缝集成,并确保长期保存数据资产。模型权重可供下载,检查和部署在任何地方。

  SageMaker是一个托管API集合,用于开发、训练、调优和托管机器学习(ML)模型,包括大语言模型。许多客户使用SageMaker处理其大语言模型工作负载,例如Stability AI, AI21 Labs和LG AI。SageMaker Training提供了具有用户自定义硬件配置和代码的计算集群。计算作业按运行次数计费,按秒分配任务,用户在未使用服务时无需为GPU资源付费。

  TII使用SageMaker Training API提供的瞬态集群来训练Falcon大语言模型,最多支持48个ml.p4d.24xlarge实例(384个英伟达A100 GPU)。现在,TII正在训练下一代Falcon大语言模型,将训练扩展到3136个A100 GPU(392个ml.p4d实例)。

  值得一提的是,TII并不是第一家部署在亚马逊云科技上的大模型企业。以Stability AI为例,这是一家以AI绘画走红全球的新晋独角兽公司,该公司推出了开源AI模型Stable Diffusion。早在2022年8月Stable Diffusion推出后,就在使用 SageMaker托管的基础设施和优化库,Stability AI能够使其模型训练具有更高韧性和性能。例如对于GPT NeoX 等模型,Stability AI使用 SageMaker 及其模型并行库将训练时间和成本减少58%,这些优化和性能改进适用于具有数百或数千亿参数的模型。

  再比如:成立于以色列的提供自然语言处理服务的公司AI21 Labs,以及通过专用人工智能芯片推动其手机向前发展的LG AI,都在使用亚马逊云科技端到端的机器学习服务Amazon SageMaker来构建、训练和部署他们的大语言模型。

  生成式AI持续创新

  显然,在轰轰烈烈的全球大模型淘金进程中,亚马逊云科技扮演的角色是,“既卖水,也卖工具”。除了从大模型应用角度助力客户成长,亚马逊云科技也在试图从生成式AI开发角度,加速推动人工智能的普及。

  日前,全球市场分析机构Gartner®发布《2023 云 AI 开发者服务魔力象限》报告,亚马逊云科技被评为“领导者”,且在执行能力轴上排名最高。

  亚马逊云科技获得Gartner如此好评,除了久负盛名的Amazon SageMaker功不可没,还有Amazon Bedrock托管服务和Amazon Titan模型等方面的创新,可以带来更极致的AI体验。

  今年4月,亚马逊云科技还重磅推出Amazon Bedrock托管服务和Amazon Titan模型。广大开发者可以通过更简单的基础模型构建和扩展生成式AI应用程序,提高AI开发效率。

  Amazon Bedrock让开发者可以通过API访问AI21Labs、Anthropic和Stability AI等热门AI公司的预训练基础模型,还提供对亚马逊云科技开发的基础模型系列Amazon Titan的独家访问。另外,基于Amazon Bedrock提供的无服务器体验,客户可以轻松找到适合自身业务的模型,快速上手。

  更重要的是,有了Amazon Bedrock和Amazon Titan的助力,用户可以在确保数据安全和隐私保护的前提下,使用自有数据基于基础模型进行定制。同时,通过已经熟悉的亚马逊云科技工具和能力,将定制化模型集成并部署到应用程序,无需自己管理基础设施。

  而对于想更快、更安全地编写代码的程序员工来说,Amazon CodeWhisperer向个人开发者免费开放的消息,无疑是一大福利。Amazon CodeWhisperer从数十亿行公开代码中学习之外,还基于亚马逊的代码进行了训练,可以为Amazon EC2、Amazon Lambda和Amazon S3等云服务生成最准确、最快和最安全的代码。开发者使用Amazon CodeWhisperer,完成任务的速度平均快57%,成功率高27%。

  亚马逊云科技在大模型和生成式AI方面的持续创新,也吸引了一些合作伙伴的加入,比如:德勤、埃森哲、Persistent Systems,都与亚马逊云科技达成深度合作,全面参与当下的“千模、万模”大战。

0
相关文章