云计算·大数据 频道

开源大模型王位易主,Databricks开源了1320亿参数大模型DBRX

  相比商用大模型,开源大模型则具有广泛的参与性和开放性,其代码和算法可以公开获取和修改。这使得开源大模型在技术创新和适应性方面具有显著优势。

  所以,以Meta推出的LLaMA为代表的开源大模型,一直成为开发者追捧的对象。但是,从现在开始,开源大模型不再是一家独大,后来者Databricks正在创在新的奇迹。

  今天,大数据人工智能公司Databricks在其官网上公开宣布,将开源一款名为DBRX的大模型,该模型有1320亿参数,直接叫板Meta的LLaMA。Meta推出的LLaMA模型,是一个包含多个大小不一的大型语言模型的集合,参数从70亿到650亿不等。LLaMA在多个任务上表现出色,尤其在翻译、问答、文本生成等领域具有广泛的应用前景。由于其开源特性,LLaMA吸引了大量开发者的关注,并催生了众多基于其构建的模型。

  而Databricks的DBRX模型,拥有惊人的1320亿参数,能够执行文本和代码生成、数学推理等多项任务,并提供基础和微调两种模型供用户选择。根据DBRX在MMLU、HumanEval和GSM8K等测试集上公布的数据,其性能表现不仅超越了LLaMA2-70B和最近由马斯克开源的Grok-1模型,而且在推理效率上比LLaMA2-70B快2倍。值得一提的是,DBRX的总参数数量仅为Grok-1的三分之一,展现出了高性能和低算力消耗的特点。

  用户可以通过以下链接访问DBRX的基础模型和微调模型,以及相关的GitHub仓库和在线demo:

  基础模型:https://huggingface.co/databricks/dbrx-base

  微调模型:https://huggingface.co/databricks/dbrx-instruct

  GitHub:https://github.com/databricks/dbrx

  在线demo:https://huggingface.co/spaces/databricks/dbrx-instruct

  Databricks的加入,再次展现了开源大模型市场呈现出多元化特点,其中一些典型的产品和厂商在市场中占据了重要地位。

  除了,Databricks的DBRX、Meta的LLaMA,全球范围内还有多个知名的开源大模型产品,如GPT系列、BERT、T5等。这些模型在自然语言处理领域取得了显著的成果,并在各种应用场景中得到了广泛应用。这些开源模型不仅为开发者提供了强大的工具,也推动了整个领域的技术进步和创新。

0
相关文章