公司本地部署开源模型

发布于

majuzhang:

想知道公司里部署一个可以供 20-40 人用的开源模型，需要大概怎样的硬件配置，一般会做文档处理，以及一些简单的编程。

---

原文链接：[点击查看](https://www.v2ex.com/t/1234254)

评论（9）

直接上 RTX 5090。

· 0 个赞

回复

要满足这个人数并发的话，估计得上 4 张。

· 0 个赞

回复

一张卡够用吗？二三十人同时请求的时候并发压力会不会很大？

· 0 个赞

可以去搜下“技术犬”，他们专门做那种静音的 AI 计算机箱，不过整机价格动不动就要 50 到 80 万，看你们的预算了。如果公司有专门的机房，直接找惠普、戴尔这类服务器厂商询价也可以。

· 0 个赞

这需求估计得找那种魔改过的大显存显卡才行。

· 0 个赞

之前刷短视频看到有人用 5000 块 DIY 的丐版机器跑 dsv4flash，据说能跑到 100tps 以上，楼主可以往这个方向搜搜看。

· 0 个赞

搞 4 张 RTX 6000 Ada 就完全够用了。

· 0 个赞

如果不是机密数据必须留在内网，还是直接去买个套餐划算。本地跑这些大模型，光是那高昂的商业电费就够你们头疼的了。

· 0 个赞

感觉现在自己买显卡搞本地部署性价比太低了，不太划算。

· 0 个赞

0.040129s