我开源了一个 deepseek harness 插件，解决挂接 sglang/vllm 时，角色冲突的问题
本质上，一旦 dsh 的请求带有推理强度，角色就会变成“developer”。但是 vllm 和 SGLang 是不认这个角色的，它们只认“system”和“user”这两个用户侧的角色。
这个插件的作用是在保留 dsh 的推理强度选项的前提下，让 sglang 和 vllm 可以正常使用 dsh，而不会出现 400 错误。
这样既方便调整思考强度（默认 xhigh 会导致超长思考），又可以使用 sglang 强大的 prefill 性能。
[插件地址](https://github.com/kop1989/dsh-localqwen-rolefix)
以上。
---
原文链接：[点击查看](https://www.v2ex.com/t/1235052)
这个插件的作用是在保留 dsh 的推理强度选项的前提下，让 sglang 和 vllm 可以正常使用 dsh，而不会出现 400 错误。
这样既方便调整思考强度（默认 xhigh 会导致超长思考），又可以使用 sglang 强大的 prefill 性能。
[插件地址](https://github.com/kop1989/dsh-localqwen-rolefix)
以上。
---
原文链接：[点击查看](https://www.v2ex.com/t/1235052)
评论
暂无评论。