近日，红帽宣布已完成对Neural Magic的收购。Neural Magic是一家在加速生成式AI（gen AI）推理工作负载的软件与算法领域的先锋企业。

　　通过此次收购，红帽引入了推理性能优化和模型优化领域的专业能力，进一步推进其愿景，即在混合云的任意位置，根据客户独特需求提供高性能的AI工作负载支持。

　　支撑当前生成式AI应用的大型语言模型（LLM）虽然具有创新性，但往往成本高昂且资源消耗巨大，大多数组织难以有效利用。

　　为应对这些挑战，红帽认为，未来AI战略的成功关键在于开发更小、更优化并采用开源许可的模型，通过在计算架构和部署环境中的开放创新来实现。

　　Neural Magic致力于将优化且高效的AI模型变为现实，这进一步增强了红帽实现AI愿景的能力。

　　Neural Magic也是vLLM的主要贡献者之一，vLLM是由加州大学伯克利分校开发的一个开源项目，专注于开放模型服务，这将为组织在构建和部署AI工作负载方面提供更多选择和更高的可及性。

　　面向混合云的生成式AI未来

　　借助Neural Magic的技术与性能工程专业知识，红帽致力于破解大规模企业AI面临的挑战，通过开源创新进一步推动AI变革的普及。具体路径包括：

　　开源许可模型：提供从10亿到数千亿参数规模的模型，可灵活运行于混合云的任意环境中——包括企业数据中心、多云部署以及边缘场景。

　　模型微调能力：帮助企业更高效地根据私有数据和特定用例定制大型语言模型（LLM），同时增强安全性。

　　推理性能优化专业知识：显著提升运营效率和基础设施利用率。

　　合作伙伴与开源生态系统支持：从LLM和相关工具，到认证服务器硬件及底层芯片架构，为客户提供更丰富的选择，满足多样化需求。

　　“选择”这一理念对于今天的生成式AI至关重要，就如同几年前的云原生和容器化应用一样。成功的生成式AI战略依赖于合适的环境（如云、服务器、边缘等）、加速计算能力以及推理服务器。

　　红帽始终致力于在混合云环境中为客户提供广泛的选择，尤其是在AI领域。收购Neural Magic进一步巩固了我们对这一承诺的支持。

　　红帽AI：构建AI的开源基础

　　Neural Magic的技术和专业能力将融入红帽AI，打造一个专为生成式AI平台设计的产品组合，秉承混合云架构，红帽AI包括：

　　红帽企业Linux AI (RHEL AI)：基础模型平台，在Linux服务器上无缝开发、测试和运行IBM Granite开源许可LLM家族，支持企业应用。

　　红帽OpenShift AI：AI平台，提供工具快速开发、训练、部署和监控机器学习模型，涵盖本地、公共云及边缘分布式Kubernetes环境。

　　InstructLab：由红帽与IBM联合创建的开源AI社区项目，通过协作改进开源许可的Granite LLM，利用InstructLab的微调技术，让任何人都能参与塑造生成式AI的未来。

　　vLLM、LLM Compressor、预优化模型等将被整合到红帽AI，让Neural Magic成为红帽AI平台的关键组成部分。

　　高管证言

　　Matt Hicks，红帽总裁兼CEO

　　效率、优化和选择是传统企业IT中的核心概念，我们认为生成式AI也应如此。通过将Neural Magic在生成式AI性能工程和优化方面的专长引入红帽AI，从工作负载的运行环境到模型的调优与训练，我们进一步履行了为客户提供满足其独特需求的生成式AI承诺。

　　Brian Stevens，Neural Magic首席执行官

　　Neural Magic在开源AI领域的研究和技术贡献，显著降低了部署大规模先进大型语言模型所需的基础设施。红帽与我们共同认为‘AI的未来在于开源’，我们期待与红帽合作，帮助企业更轻松地实现生成式AI的价值。

　　Dave McCarthy，IDC云与边缘服务全球基础设施研究副总裁

　　红帽收购Neural Magic是对其AI能力的战略增强，凭借Neural Magic在模型优化和推理加速方面的专长，促进了AI在混合云中的部署。这不仅契合红帽对开源创新的承诺，也使公司能够提供更具成本效益和可扩展性的AI解决方案，减少对专用硬件的依赖。