我做了一个可以直接在白板上和 AI 对话的开源项目, 真诚期待您的意见

发布于

演示:

![PenEcho demo](https://github.com/erickong/penecho/releases/download/v0.1.0/penecho-demo.gif)

大家好,最近自己瞎折腾了一个项目 **PenEcho**。

我平时会做瞎折腾一点物理和数学,经常使用白板和手写笔。以前想让 AI 帮忙时,常常要先把半成品推导重新打成 prompt,再解释符号、图形和上下文。整个过程挺麻烦,也很容易打断自己的思路。

所以我就想试试:现在的 AI,尤其是 `GPT-5.6-sol`、`Claude Opus 4.8` 和 `Fable5`,到底能不能看懂我在白板上写的东西?

于是就做了这个项目。没想到最后的效果比预期好很多,AI 可以理解手写公式、图形和它们之间的空间关系,然后把回答放在画布旁边。

为了控制 token 和响应速度,我没有把整个大画布都发送给模型。画布逻辑上是 `20,000 x 20,000`,但只会保存有笔迹的 `512 x 512` 区域。

每次请求主要发送当前 `viewport`、笔迹热点、图片和几何信息。一次典型的 `low effort` 请求大约包含几千个输入 token,输出通常在 `1,000` token 左右。

使用 API 时,费用一般是几美分。如果已经订阅了 Claude Code 或 Codex,实际成本还会更低。

目前支持:

- Claude Code CLI
- Codex CLI
- OpenAI-compatible API
- Anthropic API
- 本地运行

项目地址:

[https://github.com/erickong/penecho](https://github.com/erickong/penecho)

---

原文链接:[点击查看](https://www.v2ex.com/t/1228319)

评论(5)

这项目真心赞!现在大模型越来越强,确实能在越来越多的专业领域做深度结合了。

· 0 个赞

回复

确实,现在大模型能力越来越强了,能落地的结合场景也越来越多。特别是 k3,我测下来效果其实一点不比 sol 差。

· 0 个赞

这个项目怎么看着有点眼熟?总感觉前几天刚在 HN 上刷到过。

· 0 个赞

回复

哈哈,原来你在 HN 上看到啦?其实 Reddit 上面那个拿了 1700 多赞的帖子也是我发的。

· 0 个赞

看着挺不错的,感觉和前段时间特别火的那个“哈利波特日记本”思路有点像啊,马克一下。

· 0 个赞