模型部署

查看“模型部署”话题下的最新内容。

最新内容

1. 太爽了，用 llama.ccp 本地部署 qwen2.5-coder-7b-instruct-q4_k_m.gguf

   我的笔记本是 T550，4GB 内存，32GB 存储，用 llama.ccp 部署了 qwen2.5 coder 7b instruct q4 k m.gguf，跑起来特别顺畅，做一些普通的文本生成效果很棒！不过上下文长度只有 4096，有点小，试着增加参数没什么用，不能用在 D…

   2026-08-19 16:22:09