腾讯混元发布 1bit 与 4bit 量化版 Hy3 模型，旗舰 AI 模型可单卡本地运行
IT之家 7 月 14 日消息，今日腾讯混元发文表示，Hy3 上线并开源后，社区一直在呼吁量化版本，希望单卡跑参数量达 295B 的 Hy3。团队针对开源社区需求，把 Hy3 的权重量化到 1bit 与 4bit 并打包成 GGUF，配合 [llama.cpp](https://github.com) 生态，让原本只能跑在多卡集群上的模型，最少一张推理显卡、乃至内存充足的本地机器也能跑起来。
IT之家附官方详细介绍如下：
从模型上看，腾讯混元 Hy3 是一个 295B 参数的旗舰模型，展现出显著强于同尺寸模型的智能水平，并比肩更大尺寸旗舰模型的效果，大幅提升了在各类产品和生产力任务中的实用价值，但是它的 BF16 权重接近 600 GB，要完整发挥实力，离不开多卡服务器这样的部署环境。
**1bit 塞进单卡，4bit 接近满血**
我们首先提供了 1bit 极限量化版本 IQ1_M，把权重从 598 GB 一路压到 85.5GiB，整整缩小了 6.7 倍。这意味着一张 96GB 的推理显卡就能部署。对于硬件最受限、又想在本地把旗舰模型跑起来的场景，Hy3 1bit 版本是我们所推荐的。
同时，我们也提供了 4bit 量化版本 Q4_K_M，体积 169.9GiB，两张推理显卡即可承载，如果目标是在有限资源成本内拿到更接近满血模型的效果，推荐就选 Hy3 4bit 版本。
我们还提供了 GPTQ Int4 版本，它可以直接通过 vLLM 部署对外提供服务，天然享受 vLLM 生态在高并发、低延迟上的红利，更贴合服务端部署的需求。
**压下去了，能力却没塌**
判断量化好不好，最直接的是看它和原始模型的输出分布有多接近。4bit 版本在这一点上表现得相当出色，绝大多数位置上给出的首选答案以及 Top-K 概率分布都和 BF16 模型保持一致。落到实际任务上同样如此，无论是 Agent 能力、多语言代码、工具调用，还是长文理解，成绩都贴近满血模型。除此之外，GPTQ Int4 模型在评测集上的掉点幅度也非常有限，整体完全在可接受范围内。
真正让我们有些意外的是 1bit 版本。按直觉，压到 1bit 附近模型多少会变笨，但我们的 Hy3 1bit 版本在主流任务上依然站得很稳。长文理解几乎和原始模型持平，Agent 与代码方向也保持得相当好，只有小幅回落。放到日常的编码辅助、工具调用、长文档处理和常规问答任务上，它已经完全够用。
**MTP 加速解码**
要让 Hy3 真正跑顺，MTP 投机解码必不可少。为此我们专门开发了 [llama.cpp](https://github.com) 的 patch，补齐了对 Hy3 模型结构的 MTP 的支持，并直接发布了可用的构建与部署指引（详见 [Hugging Face](https://huggingface.co/AngelSlim/Hy3-GGUF)），开启 MTP 后，接受率稳定在 60% 左右，1bit 版本的解码速度提升约 50%，4bit 版本提升接近 60%，实际交互体验依然流畅。
---
原文链接：[点击查看](https://www.ithome.com/0/976/642.htm)
IT之家附官方详细介绍如下：
从模型上看，腾讯混元 Hy3 是一个 295B 参数的旗舰模型，展现出显著强于同尺寸模型的智能水平，并比肩更大尺寸旗舰模型的效果，大幅提升了在各类产品和生产力任务中的实用价值，但是它的 BF16 权重接近 600 GB，要完整发挥实力，离不开多卡服务器这样的部署环境。
**1bit 塞进单卡，4bit 接近满血**
我们首先提供了 1bit 极限量化版本 IQ1_M，把权重从 598 GB 一路压到 85.5GiB，整整缩小了 6.7 倍。这意味着一张 96GB 的推理显卡就能部署。对于硬件最受限、又想在本地把旗舰模型跑起来的场景，Hy3 1bit 版本是我们所推荐的。
同时，我们也提供了 4bit 量化版本 Q4_K_M，体积 169.9GiB，两张推理显卡即可承载，如果目标是在有限资源成本内拿到更接近满血模型的效果，推荐就选 Hy3 4bit 版本。
我们还提供了 GPTQ Int4 版本，它可以直接通过 vLLM 部署对外提供服务，天然享受 vLLM 生态在高并发、低延迟上的红利，更贴合服务端部署的需求。
**压下去了，能力却没塌**
判断量化好不好，最直接的是看它和原始模型的输出分布有多接近。4bit 版本在这一点上表现得相当出色，绝大多数位置上给出的首选答案以及 Top-K 概率分布都和 BF16 模型保持一致。落到实际任务上同样如此，无论是 Agent 能力、多语言代码、工具调用，还是长文理解，成绩都贴近满血模型。除此之外，GPTQ Int4 模型在评测集上的掉点幅度也非常有限，整体完全在可接受范围内。
真正让我们有些意外的是 1bit 版本。按直觉，压到 1bit 附近模型多少会变笨，但我们的 Hy3 1bit 版本在主流任务上依然站得很稳。长文理解几乎和原始模型持平，Agent 与代码方向也保持得相当好，只有小幅回落。放到日常的编码辅助、工具调用、长文档处理和常规问答任务上，它已经完全够用。
**MTP 加速解码**
要让 Hy3 真正跑顺，MTP 投机解码必不可少。为此我们专门开发了 [llama.cpp](https://github.com) 的 patch，补齐了对 Hy3 模型结构的 MTP 的支持，并直接发布了可用的构建与部署指引（详见 [Hugging Face](https://huggingface.co/AngelSlim/Hy3-GGUF)），开启 MTP 后，接受率稳定在 60% 左右，1bit 版本的解码速度提升约 50%，4bit 版本提升接近 60%，实际交互体验依然流畅。
---
原文链接：[点击查看](https://www.ithome.com/0/976/642.htm)
评论
暂无评论。