做了个本地 LLM 网关，多渠道自动挑便宜又快的那个用，已开源

发布于

## 项目介绍

[GitHub](https://github.com/GetOptaris/optaris-desktop)

我是个中转站重度用户，使用过程中发现没有哪一家能保证持久稳定，所以注册了很多家，而且由于怕跑路所以每一家都不敢充太多，我估计 v2 里也有人跟我一样。

我一开始使用 CC Switch 来管理我注册过的所有中转站，CC Switch 也带有一个本地网关，但是我用起来有几个问题：

1. 它的路由是一个简单的顺序路由，从上往下这种，而我是希望能综合多种数据（价格、首 token 响应时间、token 生成速度等）来自动判断某个中转站的质量，然后自动路由至这个中转站
2. 偶尔卡住，或者是 AI 模型抽风（比如我自己经常遇到 Opus 答非所问，v2 里也经常看到大家吐槽）的时候，我就很想看看请求是什么样的，到底是中转站的问题还是模型本身有问题，但 CC Switch 不提供这个功能。

于是，我自己动手做了一个本地网关，我给它取名叫 Optaris 。开源，macOS / Windows / Linux 都有安装包。macOS 还没做 Apple 公证，首次打开要运行一行命令（ README 有写）。

---

原文链接：[点击查看](https://www.v2ex.com/t/1227323)

评论（4）

看到你想做自动判断质量的路由，我直接想到今天正好有遇到中转站模型掺水的情况（图见 https://i.imgur.com/io2SM1h.png）。

· 0 个赞

老哥，你确定这些中转站提供的模型都是原版没掺水的吗？单看价格和响应速度感觉不太够吧，有些换皮模型在这些基础数据上也能给你拉满，很难光凭这些指标判断质量。

· 0 个赞

回复 @JarvisLee：用中转站遇到这种事确实没法完全避免，不过我平时主要用 Claude 写代码，只要最后跑得通就行。回复 @HFX3389：模型是不是原版确实不好说，这块确实不确定。

· 0 个赞

刚好看到另一个吐槽帖子：https://www.v2ex.com/t/1227176。这工具出得挺及时的，毕竟大家都怕遇到偷偷掺水的中转站。防患于未然还是得有个网关来管管。

· 0 个赞