把 Joy-Con 和 Apple TV Remote 接进 Vokie，作为 Agent 的语音触发器
dday198990: 最近给 Vokie 接了两个外设入口：Switch Joy-Con 和 Apple TV Remote。想法很直接，把语音输入从键盘快捷键里拆出来，交给一个独立的物理按键触发。
Joy-Con 这一版主要是在验证交互。把手柄按键作为 Vokie 的录音触发器，识别结果直接进入当前的 Agent 会话。需要连续描述需求、讲调试思路，或者人不在键盘旁边时，比反复切窗口顺手不少。
Apple TV Remote 这版技术上更麻烦，卡点主要在 Siri 键。它不像普通键盘按键那样能直接走系统快捷键映射，常规的 key event 监听和第三方映射方案也不太好处理。自己接的话，通常会碰到设备识别、事件捕获和系统版本兼容这些问题。
所以这部分我们直接做进了 Vokie。连接 Apple TV Remote 后，可以直接把 Siri 键作为语音触发器，不需要再额外配置映射工具或脚本。
还有一个之前没讲清楚的点：Apple TV Remote 本身就带麦克风，并不是只拿它当一个按钮。它的收音灵敏度比我预期好，几颗实体键也可以承载常用操作。拿在手里有点像 PPT 翻页器和手持麦克风的结合，甚至有点像拿着话筒唱歌，触发和说话都很跟手。
也有人问：既然已经坐在电脑前，为什么不直接按键盘快捷键？如果遥控器只是把一个组合键换成另一个按钮，这个问题确实成立。这里的区别是，触发、拾音和几个常用操作都在同一个手持设备上。视线可以一直留在屏幕上，手不需要来回找键盘；靠着椅背、站起来讲，或者在屏幕前走两步，也不会打断输入。
所以它不是在解决“够不到快捷键”，而是在把 Agent 的语音输入从桌面操作变成一个独立的手持交互。实际用下来，体验差异不只在 ASR 的延迟和识别率，也在触发、拾音和物理反馈是不是一体的。这也是它比快捷键更跟手的地方。
如果大家对 Apple TV Remote 的事件处理，或者 Joy-Con 的接入方式感兴趣，我可以后面把实现细节单独整理一下。也欢迎提其他设备，我看看哪些适合做原生支持。
---
原文链接：[点击查看](https://www.v2ex.com/t/1235562)
Joy-Con 这一版主要是在验证交互。把手柄按键作为 Vokie 的录音触发器，识别结果直接进入当前的 Agent 会话。需要连续描述需求、讲调试思路，或者人不在键盘旁边时，比反复切窗口顺手不少。
Apple TV Remote 这版技术上更麻烦，卡点主要在 Siri 键。它不像普通键盘按键那样能直接走系统快捷键映射，常规的 key event 监听和第三方映射方案也不太好处理。自己接的话，通常会碰到设备识别、事件捕获和系统版本兼容这些问题。
所以这部分我们直接做进了 Vokie。连接 Apple TV Remote 后，可以直接把 Siri 键作为语音触发器，不需要再额外配置映射工具或脚本。
还有一个之前没讲清楚的点：Apple TV Remote 本身就带麦克风，并不是只拿它当一个按钮。它的收音灵敏度比我预期好，几颗实体键也可以承载常用操作。拿在手里有点像 PPT 翻页器和手持麦克风的结合，甚至有点像拿着话筒唱歌，触发和说话都很跟手。
也有人问：既然已经坐在电脑前，为什么不直接按键盘快捷键？如果遥控器只是把一个组合键换成另一个按钮，这个问题确实成立。这里的区别是，触发、拾音和几个常用操作都在同一个手持设备上。视线可以一直留在屏幕上，手不需要来回找键盘；靠着椅背、站起来讲，或者在屏幕前走两步，也不会打断输入。
所以它不是在解决“够不到快捷键”，而是在把 Agent 的语音输入从桌面操作变成一个独立的手持交互。实际用下来，体验差异不只在 ASR 的延迟和识别率，也在触发、拾音和物理反馈是不是一体的。这也是它比快捷键更跟手的地方。
如果大家对 Apple TV Remote 的事件处理，或者 Joy-Con 的接入方式感兴趣，我可以后面把实现细节单独整理一下。也欢迎提其他设备，我看看哪些适合做原生支持。
---
原文链接：[点击查看](https://www.v2ex.com/t/1235562)
· 0 个赞
· 0 个赞