Codex 雷达上线一段时间了,做个月度复盘
这本来是七月份的复盘,忙忙碌碌拖到今天，不过正好分布式雷达上线也快一个月了，也算一个月度复盘吧。
毛两个月前，站长做了个 tibo 重置预告，针对 tibo 的推特进行分析来判断重置概率，在运行一段时间后我们发现大家在讨论重置之余，也总是诟病模型降智问题，因此我们一拍即合做了 codex 智商监测。
最早的时候，我们拿了现成的 SWE 评测标准，几个人凑了点号在后台每天运行测算模型 IQ ，得到一些基准数据并发布到网站上，没想到一经发布流量就爆了,原来也有很多小伙伴跟我们一样，对着经常货不对版的模型光烧 token 却得不到想要的结果。
再次运作一段时间后，蹬友们开始不满足于每日一出的 IQ 报告，我们增加了评测频率，希望能提供更有时效性的 IQ 指标。其实中途也有热心的中转大哥想支援我们一些 token ，但由于担心中转的模型不能直观有效地反应 oai 模型质量，我们商讨之后还是拒绝了，依然使用几个 20x 账号进行评测。
再再后来，我们的钱包实在撑不住了（服务器、流量、订阅等综合成本实在是高昂），为了分摊一些成本，我们不再增加订阅账号，而是新做了一个分布式雷达站点，让蹬友们可以把多余的 token 贡献到具体的题目上，为 IQ 测算出一份里，也能增加智商监测的实时性。
以上是两个站点的由来（其实还有一个 claude 智商监测站，但是 A\ 把我们手上的 max 号全封完了，遂暂停！（口吐芬芳））
一路走来，感受到在工作之余为别人解决一些真切问题的谢意，互联网上的真诚感谢比真金还贵重，在此也感谢大家的心意支持和 token 支持。
===============================
接下来汇报一下进展和未来要做的事情。
月活量已经做到了 40w （分布式站）
收到网上热心大哥们的热心助力共计 12 万刀
为了感谢大哥们的支持，我特地制作了 3D 打印奖杯作为答谢
未来针对 SWE 基准和实际工程应用的体感偏差，我们正在抓紧商讨设计新的测试集，在这里要特别感谢 [boyang-hu](https://github.com/boyang-hu) 的前端网站复刻相关帖子和 skill 在友好交流后，我们在想办法把他的成果固化成测试题，解决了前端工程能力测试难以度量的痛点。接下来我们希望我们能做出更贴合实际体感的测试结果，减少高分低能的情况出现。
最后，衷心祝愿大家永不封号，永不降智，开心地蹬！
---
原文链接：[点击查看](https://www.v2ex.com/t/1233868)
毛两个月前，站长做了个 tibo 重置预告，针对 tibo 的推特进行分析来判断重置概率，在运行一段时间后我们发现大家在讨论重置之余，也总是诟病模型降智问题，因此我们一拍即合做了 codex 智商监测。
最早的时候，我们拿了现成的 SWE 评测标准，几个人凑了点号在后台每天运行测算模型 IQ ，得到一些基准数据并发布到网站上，没想到一经发布流量就爆了,原来也有很多小伙伴跟我们一样，对着经常货不对版的模型光烧 token 却得不到想要的结果。
再次运作一段时间后，蹬友们开始不满足于每日一出的 IQ 报告，我们增加了评测频率，希望能提供更有时效性的 IQ 指标。其实中途也有热心的中转大哥想支援我们一些 token ，但由于担心中转的模型不能直观有效地反应 oai 模型质量，我们商讨之后还是拒绝了，依然使用几个 20x 账号进行评测。
再再后来，我们的钱包实在撑不住了（服务器、流量、订阅等综合成本实在是高昂），为了分摊一些成本，我们不再增加订阅账号，而是新做了一个分布式雷达站点，让蹬友们可以把多余的 token 贡献到具体的题目上，为 IQ 测算出一份里，也能增加智商监测的实时性。
以上是两个站点的由来（其实还有一个 claude 智商监测站，但是 A\ 把我们手上的 max 号全封完了，遂暂停！（口吐芬芳））
一路走来，感受到在工作之余为别人解决一些真切问题的谢意，互联网上的真诚感谢比真金还贵重，在此也感谢大家的心意支持和 token 支持。
===============================
接下来汇报一下进展和未来要做的事情。
月活量已经做到了 40w （分布式站）
收到网上热心大哥们的热心助力共计 12 万刀
为了感谢大哥们的支持，我特地制作了 3D 打印奖杯作为答谢
未来针对 SWE 基准和实际工程应用的体感偏差，我们正在抓紧商讨设计新的测试集，在这里要特别感谢 [boyang-hu](https://github.com/boyang-hu) 的前端网站复刻相关帖子和 skill 在友好交流后，我们在想办法把他的成果固化成测试题，解决了前端工程能力测试难以度量的痛点。接下来我们希望我们能做出更贴合实际体感的测试结果，减少高分低能的情况出现。
最后，衷心祝愿大家永不封号，永不降智，开心地蹬！
---
原文链接：[点击查看](https://www.v2ex.com/t/1233868)
评论
暂无评论。