DeepSeek 的 TTFT 速度极快
豆包从 1.5pro 升级到 seed2lite 之后，ttft 的 p99 基本翻了倍，从 3 秒升到 6 秒，我们业务对 ttft 极为敏感，监控都起飞了，用户投诉也来了，没辙了只能给用户降智换成 mini 模型。
正好今天有业务需要测一下其他模型，猛的发现 DeepSeek 在这方面表现卓绝，flash/pro 的 ttft avg 都可以做到 0.3 秒以内，比各厂的 flash 都要快。
强烈推荐对 ttft 敏感的业务使用！
---
原文链接：[点击查看](https://www.v2ex.com/t/1230656)
正好今天有业务需要测一下其他模型，猛的发现 DeepSeek 在这方面表现卓绝，flash/pro 的 ttft avg 都可以做到 0.3 秒以内，比各厂的 flash 都要快。
强烈推荐对 ttft 敏感的业务使用！
---
原文链接：[点击查看](https://www.v2ex.com/t/1230656)
评论
暂无评论。