太爽了，用 llama.ccp 本地部署 qwen2.5-coder-7b-instruct-q4_k_m.gguf

我的笔记本是 T550，4GB 内存，32GB 存储，用 llama.ccp 部署了 qwen2.5-coder-7b-instruct-q4_k_m.gguf，跑起来特别顺畅，做一些普通的文本生成效果很棒！不过上下文长度只有 4096，有点小，试着增加参数没什么用，不能用在 DSH 上，有没有别的解决方法？比如外挂 GPU 或者有什么便宜的方案？

---

原文链接：[点击查看](https://www.v2ex.com/t/1235633)