起起伏伏之间,人工智能经历了几道轮回,而大模型之后的日子,不仅是轮回,更是新生。这一点,将在IBM推出 watsonx之后得到验证!
从上个世纪五六十年代开始,IBM就是全球AI技术研发和应用的重要参与者。典型的事件是:1956/1962年的跳棋人机比赛,那时候主拼的是算法;1996-1997国际象棋人机大战,计算机深蓝战胜了人类国际象棋大师; 2011《危险边缘》人机知识大赛中,人工智能战胜了人类选手,机器可以理解人类的自然语言; 2019人工智能辩手(Project Debater),可以跟人类进行辩论,说明自主AI系统可以处理复杂任务;2023年,ChatGPT大火,让企业对生成式AI和大语言模型的关注度激增,迫切希望应用AI领域的新技术来提升竞争力。
ChatGPT的出现,说明大语言模型是一条走得通、通往未来AI的道路。IBM大中华区董事长、总经理陈旭东把这一时期的变化,看作是“质变时刻”已经到来。2023年,IBM正式发布watsonx,这是一个致力于基础模型和生成式AI的全新平台,提供一个包括AI开发平台、数据存储和AI治理在内的工具包。
目前,IBM已经在全球启动了 watsonx三个产品集,其中watsonx.ai 和watsonx.data已上市, watsonx.governance将于2023年第四季度上市陆续上市,watsonx.data的premise版本现在已经可以提供给中国客户使用。
大模型背后,基础模型是 “兜底技术”
可以说,watsonx是IBM以前所未有的速度推出的产品。那么,当“百模大战”行至中场,watsonx将以何种方式入局?
“在生成式AI时代,基础模型是关键,支撑着企业核心应用。” IBM大中华区首席技术官、研发中心总经理谢东认为,与过去基于深度学习、机器学习赋能企业业务的方式不同,基础模型拥有更广阔的发展空间。
在企业级应用场景,除了大语言模型,还有不同应用场景,包括IT自动化模型、数字劳动力模型、网络安全模型等等,这些不同的专有模型支撑了企业应用。那么,基础模型和基于深度学习的垂直模型有什么区别?答案是,基础模型不需要给海量数据打标签,可以读企业内部数据、客户交易数据、客服数据等,进而再更广泛的领域生成不同的应用,给企业创造更多可能性。
对于企业来讲,构建专门的应用,不在于模型本身有多大,而是在于多大程度符合企业的特定要求,能不能很好地完成任务。再就是运维成本的考虑,大模型非常耗费算力,大多数企业没有足够的算力来支撑,所以更需要一个基础模型来直接构建特定应用,灵活部署。也就是说,这个模型越小越好,越小越灵活,更加节能、高效。同时,这个模型还要有进化能力,系统要能够不断学习,能够根据业务场景实时调整。
当企业基于基础模型演化不同的垂直模型,需要有新的工具、新的项目管理方式,要有更自动化的方式能够进行训练、调试和部署应用,而watsonx就是这样一个平台工具。IBM要做企业级大模型的底座,帮助更多用户减轻人工智能的负担,使他们能够更轻松地进行大规模开发、调整和部署企业就绪且值得信赖的AI。
在不到一年的时间里,企业已经从"应用AI助力业务经营"的范式,转变为各行各业几乎每家企业都在寻求如何把AI嵌入企业的战略核心,即从数据为先的“+AI”时代迈入AI为先的“AI+”时代。IBM认为,主推一切变化的拐点是基础模型技术,这种横向扩展能力,让企业可以在不同的AI模型之间能够进行自动化串联,使得企业运营越来越智能化、自动化。
在华发布watsonx,IBM驶入新征程
问题是,致力于企业级基础模型,不是只有IBM一家,为什么我们更相信IBM能做成这件事?
首先,满足企业未来需求的人工智能应用,适应性要强。因为,企业用人工智能的时候有成本层面的考虑,不可能无限大地投入。并且,训练完了以后,要能够适应不同的场景。而IBM基于多年的企业级实践经验,更了解用户场景。
其次,要具备很强的可扩展性,具备更强的基础构建能力,而IBM刚好可以把这一切优势结合。
watsonx是一个平台,里面有三大部分:watsonx.ai,watsonx.data,watsonx.governance。watsonx.ai,就是来进行人工智能的训练、验证、调优、部署,可以围绕着人工智能模型和应用进行开发。watsonx.dada,训练人工智能需要大量的数据,人工智能通过自己企业的数据来训练调优,从而创造业务价值才是提升竞争力的方法。我们要用更好的企业内部数据的管理办法,高效地喂到人工智能系统里面,去训练人工智能以及调优部署,很重要的一点是企业级AI的治理和监管能力。企业用的人工智能一定是要合规,数据要合规、内容要合规,这方面已经有越来越多法律法规的要求,而watsonx.governance,可以通过一套自动化流程、方法和工具来帮助管理组织的 AI 使用。确保指导模型设计、开发、部署和监控的原则一致,对于推动负责任、透明和可解释的 AI 至关重要。
watsonx.ai可以根据训练所需的计算资源进行调整。具体操作是,需要根据模型的要求将数据词符化。先使用数据堆的版本ID查询想要的数据,这将在vela上生成一个用于词符化的数据副本。这意味着,如果我们正在构建一个大型语言模型,数据中的句子将被分解成词符。而且这个过程可能会产生数万亿个词符,我们使用这些词符来训练模型。训练是一个非常复杂和耗时的任务,它可能需要数十个、数百个甚至上千个GPU,并且可能需要数天、数周甚至数月训练时间。watsonx.ai上的训练利用了最好的开源技术,以简化用户体验。它建立在使用Pytorch和Ray的Codeflare上,并且还整合了hugging face,为企业提供丰富多样的开放格式。watsonx.governance将数据名片(其中包含有关用于训练的数据堆的详细来源信息)与模型名片(其中包含有关模型的详细训练和验证信息)进行合并,它们一起形成一张事实表(factsheet),这张事实表与其他所有可以使用的模型的事实表一起被编目在watsonx.governance中。
企业可以在任何需要的地方高效部署和运行基础模型,可以是公共云、本地或边缘设备中。部署的模型可以在许多不同的应用程序中使用。例如,在Watson Assistant中嵌入了基础模型用于文本生成。在Assistant中,描述希望助手处理的主题,它会生成相应的对话流程。
正如IBM 大中华区科技事业部总经理、中国区总经理缪可延所言,人工智能技术的发展超出了我们的想象,当我们知道它要朝哪个方向走,基础模型的当下便愈加清晰。这也是watsonx要以“X”命名的本意。IBM将基于watsonx创新技术、软件和硬件结合的方式,以及强大的开放生态,探索未知的无限可能。