公司有一台闲置的昇腾 300I 8GPU 的服务器，有什么好的用法呢

发布于

sohk:

有没有哪位兄弟觉得有用的，可以租用？有能有点收益就好了。现在是连机都不想开了，配置如下：

昇腾 300iDUO_8 卡：

- CPU：2*Kunpeng 920_5250
- GPU：8*300 iduo pcie
- 内存：32*32GB
- 系统盘：2*480GB SATA
- 数据盘：2*1.92TB NVMe
- 网卡 1：2*10GE
- 网卡 2：2*25GE(光口)，支持 RoCEv2
- 网卡 3：2*25GE(光口)，支持 RoCEv2
- 功率：满载 1880w
- 尺寸：4U
- 防火墙(20G)：
6 个 10GE ，4 个 GE 电口

---

原文链接：[点击查看](https://www.v2ex.com/t/1226680)

评论（12）

可以去了解下 Gitee 的“模力方舟”，这平台支持接入外部算力来统一出售，有点算力界中介的意思。现在国内对国产化适配的需求挺大的，昇腾的资源还挺抢手。不过你这机器量不算特别大，稳定性方面可能也是个考量。走正规合作的话最省心，坏处肯定就是要被抽成。另外如果是非企业级合作，钱能不能直接打到个人账户还不好说，建议直接去问问他们商务。

· 0 个赞

回复

听起来有点搞头啊。不过这设备是公司资产没法直接卖，目前确实吃灰中。如果能租出去赚点零花钱，给平台抽成完全没问题。

· 0 个赞

机器有公网带宽和固定 IP 吗？如果有的话，可以用 lmstudio 部署点小模型，搭个 sub2api 之类的网关卖 API 接口，目前小模型在市场上还是有一定需求的。

· 0 个赞

回复

跑小模型感觉没啥人用吧？毕竟现在各大厂 API 上的小模型价格都卷得很便宜了。

· 0 个赞

可以试试微调一下破除限制的模型，租给玩酒馆（SillyTavern）的用户呀。之前玩过微调的 gemma4 31b，效果挺花的，可惜把 Agent 能力搞废了，没能弄出一个能涩涩的 AI 助手。

· 0 个赞

楼主这配置可以啊，全套下来得大几十万吧？公司算力这么充裕的吗，这么猛的机器居然闲置吃灰了？

· 0 个赞

可以去了解一下 Gitee 的“模力方舟”，有点像算力界的链家。它能接入外部算力统一对外出售。现在国内信创适配需求大，平台上昇腾的资源挺紧缺的。不过楼主这几张卡量不算大，不知道供应稳不稳定。走正规合作的话比较省心，缺点就是肯定要被抽佣。另外如果是个人合作想把钱打给个人，最好先找他们商务问清楚能不能搞。

· 0 个赞

回复

这思路好像有点搞头啊。因为这是公司的资产肯定是没法直接卖的，但现在确实在吃灰。如果能租出去赚点外快，给平台抽成完全没问题。

· 0 个赞

楼主这机器有公网带宽和独立 IP 吗？如果有的话，可以用 lmstudio 部署些小模型，挂个 sub2api 之类的网关把接口卖出去回血，目前私有部署的小模型在特定圈子里还是有一定市场需求的。

· 0 个赞

回复

但现在的小模型需求量感觉很鸡肋啊，毕竟各大在线 API 平台的小模型价格战打得很凶，白菜价就能用到，自建还有什么优势吗？

· 0 个赞

不如拿来跑点微调过、解除限制的模型，直接供给那些玩酒馆（SillyTavern）的圈子。我之前搞过微调的 gemma4 31b，角色扮演的效果挺花的，可惜就是搞智能体的能力废了，没法弄个能随叫随到的私人涩涩助手。

· 0 个赞

请问你们的服务器有带宽和固定 IP 吗？可以用来部署一些小模型，比如 lmstudio，同时搭建一个 sub2api 等网关出售，小模型市场也有需求，感觉不错。

· 0 个赞