这两天，开源大模型真是杀疯了。昨天，Meta宣布推出封神版大模型Meta Llama3.1；今天，后起之秀Mistral表示参战，推出旗舰版模型Large 2。两款大模型推出后，一大堆供应商都表示快速支持。对于用户来说，此刻可能是一片懵的状态，大模型真是变化太快了，感觉永远在被带节奏。

　　面对各种大模型，到底该如何选择？听听专家怎么说！

　　“开源软件和模型的共同开发现在成为常态。对我们来说，只花了几分钟修改了一点 Python 代码就能支持 405b。”Lepton AI 联合创始人兼 CEO贾扬清，通过自己的朋友圈分享了最新观点。他认为，支持开源大模型，现在变得很容易。但从快速推广和应用视角来看，个人更期待Mistral Large的未来发展。

　　以下为原文观点：

　　Llama3.1 405B 的性能测评，数据来自 LLM 聚合平台 OpenRouter：

　　看到几乎所有提供商都迅速支持这个模型，很惊喜。开源软件和模型的共同开发现在成为常态。对我们来说，只花了几分钟修改了一点 Python 代码就能支持 405b。

　　Llama 3.1 405B 确实是一个难盈利的模型。需要半台或一台机器来运行，成本很高，速度还一般。大多数提供商保持在每秒 30 个 token 左右（见图），以确保服务经济合理。相比之下，70B 模型可以超过每秒 150 个 token。

　　你还是能盈利的，不是纯亏钱。当然，这取决于良好的优化和工作负载饱和度。对我们的 VC 朋友们来说，对于这种价格的纯 API 服务，不要指望能像传统 SaaS 那样有 80% 的利润率。

　　除了性能优化，LeptonAI API 在速度、价格、并发、成本等多个参数之间做了平衡，以确保可持续性。

　　量化将成为标准。各位，忘掉 FP16 吧。Int8/FP8 才是未来。如果你还觉得不舒服，让我告诉你，早些时候 AI 框架还担心精度，甚至支持 FP64。你在神经网络中用过 FP64 吗？

　　量化需要小心。一个尺度适用于整个张量的时代已经过去了。你需要做 per channel / grouped 的量化以确保准确度不下降。

　　我大胆预测，405B 的采用仍会受到速度和价格的限制。但我并不担心，因为我预计未来一年左右会有至少 4 倍的效率提升。

　　我很期待测试 Mistral Large 123B。我们的 Tuna 引擎开箱即用支持 Mistral Large，不过为了尊重研究许可，我们不会提供公共 API。如果你感兴趣，请联系我们。

　　@karpathy 有一条关于小模型的超棒推文。我完全同意。在垂直应用中，你可能不需要那么大的模型。70B 通常就足够了，很多情况下 8B 通过微调也能很好地工作！

　　很棒的是，Llama 3.1 允许（并在某种程度上推荐）微调你自己的模型。

　　我还想给 vLLM 点个赞。我们有自己的引擎，但 vLLM 真的很棒。我们的平台也支持它。

　　最后，欢迎联系我们进行企业/专用部署。我们相信 AI 不仅仅是 API。Lepton AI构建了一个完整的 AI 云来满足你端到端的需求。