GPT-5.6 出来后,我更关心的是:企业 AI 应用怎么快速接新模型?

发布于

周末浅浅谈一下~

GPT-5.6 的更新挺有意思。这次不只是“模型更聪明”这么简单,像 Sol / Terra / Luna 分层、ultra mode 、subagents 、computer use 、coding / research 能力增强,其实都在说明一个趋势:大模型正在从单次问答,往更复杂的任务执行和 Agent 协作方向走。

但我自己在做企业 AI 应用相关项目时,感受比较明显的是:模型能力越强,企业侧反而越需要一个稳定的“接入层”。因为真实项目里很少只用一个模型。

今天可能用 GPT-5.6 做复杂推理,明天用 Claude 做长文本分析,后天又想接一些开源模型、本地模型,或者把 Skills 、RAG 、Agent workflow 接进来。如果每个业务应用都单独对接一遍 API ,后面维护会很痛苦。

我觉得企业 AI 应用真正麻烦的地方,通常不是“能不能调通模型”,而是这些问题:

- 多模型怎么统一管理?
- GPT 、Claude 、开源模型怎么快速切换?
- 不同任务能不能走不同模型?
- Token 用量和成本怎么统计?
- Agent 执行过程怎么留日志?
- RAG 召回和工作流怎么接在一起?
- 权限和私有化部署怎么处理?
- 后续模型升级时,业务应用能不能少改代码?

这也是我们最近在做 ZGI 的原因。

ZGI 已经开源两周左右,目前 GitHub 有 200+ Stars ,Gitee 也同步上线了。它不是一个单纯的聊天机器人壳子,更像是一个企业 AI 应用基础设施,主要做几件事:

1. 知识库 / RAG
把企业文档、知识库、召回链路接入 AI 应用。
2. 可视化工作流
把 Prompt 、知识检索、工具调用、条件判断、模型推理串起来,少写一些重复胶水代码。
3. Agent 执行和运行日志
Agent 不只是能调用工具,也需要知道它做了什么、哪一步出错、怎么回溯。
4. 模型网关
统一接 GPT 、Claude 、开源模型和私有模型。后续像 GPT-5.6 这种新模型,也可以通过模型网关更快接入,而不是每个应用都改一遍。
5. 私有化部署与权限控制
企业内部使用 AI ,很多时候数据安全、权限隔离、成本统计比 Demo 效果更重要。

我现在比较想听听大家的真实看法:

如果你们公司要接 GPT-5.6 / Claude / 开源模型,会倾向于每个应用自己接,还是统一走一个模型网关?做企业 AI 应用时,你觉得最卡的是模型能力、RAG 效果、工作流,还是私有化部署?

ZGI 现在可以在 GitHub / Gitee 查询到,也欢迎直接提 Issue 或拍砖。我们现在最需要的不是夸,而是真实开发者反馈。

---

原文链接:[点击查看](https://www.v2ex.com/t/1226701)

评论(7)

这可以理解成一个 Web 版的 Agent 平台么?我也在用 fastapi + acp + claude 自己撸一个类似的。看了下 GitHub,发现项目自己实现了 agent runtime,但不知道对 skill 和 mcp 的支持程度如何,感觉相比大厂开源的 Agent 框架优势不太明显。另外,体验地址没有提供账号也不允许注册,本来想进去白嫖看一眼效果的。

· 0 个赞

模型层管理感觉可以直接用类似 new-API 深度对接进系统,做好权限区分和隔离就行,全靠自己手搓太重了。如果只做 runtime 的话,市面上已经有很多 Agent 框架,功能都大差不差吧。楼主有交流群吗?我最近也在搞类似的,想一起交流下。

· 0 个赞

从开发的角度来看,一般都会做一个供应商和模型配置管理模块来搞定所有的接入、监控和管控。执行任务的时候,可以让用户手动切换模型,或者干脆配置个主管模型来做智能调度。

· 0 个赞

常规套路难道不是先搭一个 Gateway,然后做模型路由么?把用量、审计日志、权限等全交给 Gateway 统一管理,再向不同的应用分发。

· 0 个赞

企业级开发肯定首选 AI 网关方案,把日志审计、权限管控和费用预算统一搞定,结构兼容也做得不错,下游业务应用直接对接 SDK 就行了。

· 0 个赞

补充一下,如果大家去仓库提了 Issue,我们会给开发者送点 token 作为小福利,欢迎来踩。

· 0 个赞

问一下网关层有没有做脱敏处理?比如发请求的时候自动把 prompt 里的敏感信息洗掉,同时最好还能不影响接口的缓存命中率。

· 0 个赞