我发现个人部署本地 llm 真的很垃圾。
本地显存 48g 4090d，llm 为 fp8 量化版 qwen36.-27b。
工作流是 yt-dlp → funasr → 获取文案 → qwen 提取观点 → langgraph 调用 qwen 多 agent 对话 → crawl4ai 搜索补充 → 生成文案龙骨 → qwen 分段生成。
最终文案丢给 GPT，无论怎么调提示词或流程，基本都是说废话太多，前面提到的观点后面重复解释之类。而且调试也费时。最后换成在线 API，一切解决了。
本地模型可以用来生/编辑图、生视频、背景音等，短文可以，长篇还是算了，本地 llm 注意力机制的能力就决定了不能胜任。
---
原文链接：[点击查看](https://www.v2ex.com/t/1236094)
工作流是 yt-dlp → funasr → 获取文案 → qwen 提取观点 → langgraph 调用 qwen 多 agent 对话 → crawl4ai 搜索补充 → 生成文案龙骨 → qwen 分段生成。
最终文案丢给 GPT，无论怎么调提示词或流程，基本都是说废话太多，前面提到的观点后面重复解释之类。而且调试也费时。最后换成在线 API，一切解决了。
本地模型可以用来生/编辑图、生视频、背景音等，短文可以，长篇还是算了，本地 llm 注意力机制的能力就决定了不能胜任。
---
原文链接：[点击查看](https://www.v2ex.com/t/1236094)
· 0 个赞