Hermes Agent 在很多 provider 里 TTFT 高达 1-2 分钟，没法用了
ingramyang:
Hermes Agent 现在没法用。不太清楚是不是因为每次都动态拼接前缀，还是大模型的 provider 没有路由到同一个缓存 provider，导致 prefill 前缀每次都要重新计算。在 Hermes 需要注入大约 23K 左右上下文的情况下，OpenCode Go、千问云、OpenRouter 每轮的 TTFT（首次响应时间）都高达 60 到 100 秒。只有火山引擎不知道用了什么技巧（可能是预热或者多租户隔离？）把时间优化到了 10 秒甚至 5 秒以内。没办法，只能卸载不玩了。
开源再好，终究比不过商业化和中心化的玩法，唉。
---
原文链接：[点击查看](https://www.v2ex.com/t/1233746)
Hermes Agent 现在没法用。不太清楚是不是因为每次都动态拼接前缀，还是大模型的 provider 没有路由到同一个缓存 provider，导致 prefill 前缀每次都要重新计算。在 Hermes 需要注入大约 23K 左右上下文的情况下，OpenCode Go、千问云、OpenRouter 每轮的 TTFT（首次响应时间）都高达 60 到 100 秒。只有火山引擎不知道用了什么技巧（可能是预热或者多租户隔离？）把时间优化到了 10 秒甚至 5 秒以内。没办法，只能卸载不玩了。
开源再好，终究比不过商业化和中心化的玩法，唉。
---
原文链接：[点击查看](https://www.v2ex.com/t/1233746)
· 0 个赞