公司私有化部署大模型

发布于

公司有点规模，搞了几千万预算部署了一些国产开源大模型，然后流程上要求高敏业务的智能体必须使用本地化模型。

从技术的角度讨论下看，这个事还能继续走下去吗？

已知的问题：
1. 不如云厂商提供的模型兼容性好
2. 偶尔还有 bug，比如 tool call bug
3. 这个预算碰到 k3 这种模型根本部署不起

还会有什么问题？你怎么看？

---

原文链接：[点击查看](https://www.v2ex.com/t/1229783)

评论（6）

楼主部署的是哪家的大模型啊？这种其实可以找官方直接买技术支持服务，让人家包调试搞定。

· 0 个赞

手里握着几千万的预算，其实部署 K3 模型也是完全顶得住的。

· 0 个赞

说实话，单纯比参数的话，跑 GLM5.2 做私有化部署的性价比高得多，日常业务够用了。K3 的话看大家分享的外网体验，其实也没感觉强出一大截。另外 tool call 的 bug 在 GLM5.2 上少多了，问题不大。

· 0 个赞

回复

补充一下硬件配置，B300 大概在 1300W 左右，既然楼主经费管够，直接采购这套就行了。

· 0 个赞

这预算直接组个 8 张 H200 或者 8 张 B300 的机器阵列不香吗？说句实在话，买物理机的这些钱，如果全拿去买 API token，估计都能撑 10 年以上了。

· 0 个赞

同意楼上的说法。既然预算充足，建议直接上 B300 显卡，然后跑 GLM5.2 模型。实测下来其实比 K3 差不到哪里去，而且对显存的要求降了一大截。

· 0 个赞