Acrab 发布边缘 AI 终端 SoC GΞLIX 1，支持 100B 模型本地运行
IT之家 7 月 23 日消息，初创企业 Acrab 昨日正式发布了其首款芯片：面向边缘 AI 终端设备的 GΞLIX 1 SoC。这一芯片基于 5nm 制程工艺，**支持 100B 参数规模模型本地运行**。
GΞLIX 1 采用异构设计，提供了 20 核 Arm CPU、3TFLOPS GPU、NPU 和其它一系列音视频引擎，**AI 算力 650TOPS**。其拥有 8MB 的大型 L1 缓存，共享 L2 缓存带宽 768GB/s，此外还拥有 256-bit 8533T/s 的 LPDDR5X 共享内存。
Acrab 表示其在 GΞLIX 1 上通过矢量硬件加速了注意力机制，并通过针对预填充的优化降低了首 Token（词元）用时：在配备 40k KV 缓存和 10k Token 输入的 Gemma 26B A4B 配置下，**GΞLIX 1 可实现 1416.8 Token/s 的预填充速率**，是苹果 M4 Pro Mac Mini 的 7.5 倍。
除芯片本身外，Acrab 还为 GΞLIX 1 提供了丰富的软件堆栈和智能体参考设计，并基于其打造了第一方终端设备 Agent Box。
---
原文链接：[点击查看](https://www.ithome.com/0/980/380.htm)
GΞLIX 1 采用异构设计，提供了 20 核 Arm CPU、3TFLOPS GPU、NPU 和其它一系列音视频引擎，**AI 算力 650TOPS**。其拥有 8MB 的大型 L1 缓存，共享 L2 缓存带宽 768GB/s，此外还拥有 256-bit 8533T/s 的 LPDDR5X 共享内存。
Acrab 表示其在 GΞLIX 1 上通过矢量硬件加速了注意力机制，并通过针对预填充的优化降低了首 Token（词元）用时：在配备 40k KV 缓存和 10k Token 输入的 Gemma 26B A4B 配置下，**GΞLIX 1 可实现 1416.8 Token/s 的预填充速率**，是苹果 M4 Pro Mac Mini 的 7.5 倍。
除芯片本身外，Acrab 还为 GΞLIX 1 提供了丰富的软件堆栈和智能体参考设计，并基于其打造了第一方终端设备 Agent Box。
---
原文链接：[点击查看](https://www.ithome.com/0/980/380.htm)
评论
暂无评论。