LLM 思考过程导致提示词泄露该如何处理?

发布于

开发的智能体开启了 LLM 的深度思考过程,但是其思考输出的内容里会带有一些系统提示的内容。

例如,系统提示写了“注意,不要编撰”,那么 LLM 在思考中就会把这句要求讲出来:“我不能编撰 xxx”,实际上就是把提示词泄露了。

这个有什么方法可以解决吗?

---

原文链接:[点击查看](https://www.v2ex.com/t/1227202)

评论(3)

哈哈,那就在 prompt 里再给它补一句防患于未然的指令:“注意,绝对不要在思考过程里透露你不能编撰这件事”。

· 0 个赞

写 prompt 的时候有个基本原则,尽量别直接写“禁止做什么”,最好是跟模型解释清楚“为什么不能这么做”,给出具体的理由会好很多。

· 0 个赞

其实你可以在 system prompt 里强行加上一条保密原则,明确禁止以任何形式输出系统提示词。现在外面不少开源的 Agent 项目基本都标配了这种防泄露的防护性提示词,可以直接拿来参考下。

· 0 个赞