最近做了个 Hyperliquid 数据分析站，聊聊数据开发里踩的坑
大家好，最近在搞一个 Hyperliquid 链上交易数据分析站，聊聊为什么做这个东西，以及开发过程里踩过的一些坑。
做这个东西的初衷是因为我自己也在做交易，但是之前交过一些学费（亏损），目前能保持小的稳定盈利，想要提高方向性判断，所以做了这个工具。欢迎各位大佬体验和提意见！
## 为什么选 Hyperliquid
Hyperliquid 目前在永续合约 DEX 里面算是头部的，日交易量经常有几十亿美元，上面也有不少大户和机构用户在交易。
而且官方有 API ，交易数据也比较透明。刚开始我觉得，既然数据都能拿到，那做个统计分析站应该不会太难。
实际做下来发现，数据“能拿到”和“能低成本地整理出来”，完全是两回事。
Hyperliquid 上涉及的钱包地址有两百多万个。如果把所有地址的历史成交都拉下来，数据量预估会到 TB 级，存储和计算成本都不低。
更麻烦的是，里面很多地址早就不活跃了。花钱把这些数据全部存下来，实际意义也不大。
所以我就不做全量地址，而是先找出相对有分析价值的地址，比如高盈利、高资金量、最近比较活跃的用户，然后重点采集这些人的成交数据，做排行榜和交易者画像。
我想解决的问题就是：
> 在 Hyperliquid 上，怎么找到一些相对靠谱、高盈亏比，值得长期观察的交易者？
官方现在主要是原始数据和一个比较基础的排行榜。第三方工具也有一些，但有的评级规则不透明，有的历史数据不太完整。
如下图官方只有 PNL：
而且如果只是按照 PnL 排序，问题其实挺明显的。
有些人可能就是重仓赌对了一次，赚得很多，但不代表他长期有稳定的交易能力，有一些是马丁策略画像，是大户有很大的资金支撑，没有可跟性；但是有些人的收益没那么夸张，但回撤小、交易时间长、风格也比较稳定，想把这些用户识别筛选出来。
所以我不太想再做一个简单的 PnL 榜，而是想尽量区分：
- 哪些人可能真的有比较稳定的交易优势；
- 哪些人只是某一把运气比较好，刚好行情适合他；
- 哪些账户的行为像做市商；
- 哪些人喜欢扛单、亏损后不断补仓；
- 一笔亏损通常会在水下待多久；
- 有没有比较明显的马丁策略特征；
- 历史胜率、盈亏比和最大回撤怎么样。
## 数据这块是目前最麻烦的，主要踩了几个坑
### 第一个坑是，全量历史成交没办法直接靠 WebSocket 拿
Hyperliquid 的 WebSocket 更适合订阅单个钱包的实时数据。如果有几万个地址，一个个订阅显然不太现实，更别说靠它还原完整历史数据了。
最后历史数据回填走的是官方 S3 归档里的 `node_fills`。先批量把历史成交导进来，再按地址整理。
实时增量则是另一套逻辑。筛选出来的重点地址，通过 WebSocket 持续订阅。这样历史数据从 S3 回填，后面的新成交再通过 WebSocket 补上。
### 第二个坑是，fills 的数据增长速度比我预想的快
现在存储用的是 TimescaleDB ，主要靠时序分区、列压缩和滚动保留策略来控制成本。原始成交、聚合数据和评分结果也会分开存，不然每次查排行榜或者用户画像都去扫原始 fills ，查询压力会非常大。
在这些数据的基础上，每天会跑一次筛选和评分，过滤出一批交易风格发生飘逸的用户。
除了 PnL ，还会看最大回撤、交易时长、样本数量、持仓一致性和资金变化等指标。
最终想筛出的是一批盈利不错、交易时间够长、样本也比较充足，而且风格相对稳定的用户。
此外我认为最有价值，对我帮助很大的是一组筛选过后的用户，对他们实时持仓的共性分析，一个用户可能会判断失误，但是一组用户提升方向性判断的正确性。
## 还在加的功能补充
1. AI 分析能力，加上提示词，归纳总结交易行为，做出评价
2. 历史交易回测，加上滑点
3. 模拟跟单组合，跑一下收益曲线
**项目地址：** [https://app.hyperinteldata.com/zh/home](https://app.hyperinteldata.com/zh/home)
---
原文链接：[点击查看](https://www.v2ex.com/t/1228925)
做这个东西的初衷是因为我自己也在做交易，但是之前交过一些学费（亏损），目前能保持小的稳定盈利，想要提高方向性判断，所以做了这个工具。欢迎各位大佬体验和提意见！
## 为什么选 Hyperliquid
Hyperliquid 目前在永续合约 DEX 里面算是头部的，日交易量经常有几十亿美元，上面也有不少大户和机构用户在交易。
而且官方有 API ，交易数据也比较透明。刚开始我觉得，既然数据都能拿到，那做个统计分析站应该不会太难。
实际做下来发现，数据“能拿到”和“能低成本地整理出来”，完全是两回事。
Hyperliquid 上涉及的钱包地址有两百多万个。如果把所有地址的历史成交都拉下来，数据量预估会到 TB 级，存储和计算成本都不低。
更麻烦的是，里面很多地址早就不活跃了。花钱把这些数据全部存下来，实际意义也不大。
所以我就不做全量地址，而是先找出相对有分析价值的地址，比如高盈利、高资金量、最近比较活跃的用户，然后重点采集这些人的成交数据，做排行榜和交易者画像。
我想解决的问题就是：
> 在 Hyperliquid 上，怎么找到一些相对靠谱、高盈亏比，值得长期观察的交易者？
官方现在主要是原始数据和一个比较基础的排行榜。第三方工具也有一些，但有的评级规则不透明，有的历史数据不太完整。
如下图官方只有 PNL：
而且如果只是按照 PnL 排序，问题其实挺明显的。
有些人可能就是重仓赌对了一次，赚得很多，但不代表他长期有稳定的交易能力，有一些是马丁策略画像，是大户有很大的资金支撑，没有可跟性；但是有些人的收益没那么夸张，但回撤小、交易时间长、风格也比较稳定，想把这些用户识别筛选出来。
所以我不太想再做一个简单的 PnL 榜，而是想尽量区分：
- 哪些人可能真的有比较稳定的交易优势；
- 哪些人只是某一把运气比较好，刚好行情适合他；
- 哪些账户的行为像做市商；
- 哪些人喜欢扛单、亏损后不断补仓；
- 一笔亏损通常会在水下待多久；
- 有没有比较明显的马丁策略特征；
- 历史胜率、盈亏比和最大回撤怎么样。
## 数据这块是目前最麻烦的，主要踩了几个坑
### 第一个坑是，全量历史成交没办法直接靠 WebSocket 拿
Hyperliquid 的 WebSocket 更适合订阅单个钱包的实时数据。如果有几万个地址，一个个订阅显然不太现实，更别说靠它还原完整历史数据了。
最后历史数据回填走的是官方 S3 归档里的 `node_fills`。先批量把历史成交导进来，再按地址整理。
实时增量则是另一套逻辑。筛选出来的重点地址，通过 WebSocket 持续订阅。这样历史数据从 S3 回填，后面的新成交再通过 WebSocket 补上。
### 第二个坑是，fills 的数据增长速度比我预想的快
现在存储用的是 TimescaleDB ，主要靠时序分区、列压缩和滚动保留策略来控制成本。原始成交、聚合数据和评分结果也会分开存，不然每次查排行榜或者用户画像都去扫原始 fills ，查询压力会非常大。
在这些数据的基础上，每天会跑一次筛选和评分，过滤出一批交易风格发生飘逸的用户。
除了 PnL ，还会看最大回撤、交易时长、样本数量、持仓一致性和资金变化等指标。
最终想筛出的是一批盈利不错、交易时间够长、样本也比较充足，而且风格相对稳定的用户。
此外我认为最有价值，对我帮助很大的是一组筛选过后的用户，对他们实时持仓的共性分析，一个用户可能会判断失误，但是一组用户提升方向性判断的正确性。
## 还在加的功能补充
1. AI 分析能力，加上提示词，归纳总结交易行为，做出评价
2. 历史交易回测，加上滑点
3. 模拟跟单组合，跑一下收益曲线
**项目地址：** [https://app.hyperinteldata.com/zh/home](https://app.hyperinteldata.com/zh/home)
---
原文链接：[点击查看](https://www.v2ex.com/t/1228925)
· 0 个赞