作者:Arm 人工智能平台和开发者平台与服务高级副总裁 Alex Spinelli
如今,全球数十亿智能手机用户已将实时辅助、流畅沟通与高度个性化视为基础体验。在智能手机的功耗限制下实现高性能端侧人工智能 (AI),对规模化提供即时智能体验、释放 AI 未来潜力至关重要。
Google 近期推出的 Gemma 4 进一步加速了行业向端侧 AI 转型的进程,让开发者能够轻松获取优化后的性能,并将更强大的 AI 体验直接融入用户日常使用的各类应用。想要在全球智能手机上实现这些优势,离不开底层算力基础,而贯穿整个安卓生态系统的基石正是 Arm 计算平台。
Gemma 4 全新特性
Gemma 4 进一步提升了端侧 AI 的性能与能效,同时扩展了对 Arm 架构设备最关键的多模态体验支持,包括逻辑推理、智能体工作流,以及视听融合类用例。该模型在文本、音频* 和图像功能上全面增强,支持更多语言,并为实时辅助体验打下基础,可在不增加内存占用的情况下,在端侧实现更灵敏、更贴合上下文的交互。
*仅适用于 E2B(等效 20 亿参数)和 E4B(等效 40 亿参数)版本
探索 Gemma 4 在 Arm 架构 CPU 上的性能
在 Arm 早期工程测试中,SME2 在运行 Gemma 4 工作负载时展现出可观的性能提升。针对 Gemma 4 E2B(等效 20 亿参数)模型的初步测试显示,预填充阶段(处理用户输入)平均提速 5.5 倍,解码阶段(生成回复)最高提速 1.6 倍,充分体现了 Armv9 CPU 创新技术在端侧 AI 工作负载中的潜力。这些工程测试包含即将针对 Google XNNPACK 和 Arm KleidiAI 推送的补丁。
此类优化的早期落地案例来自 Envision,这是一款面向失明与低视力人群的无障碍应用,目前正评估采用端侧方案提供更多本地化体验。此前,Envision 的场景识别功能依赖于云端连接。而在这个新版原型中,Gemma 4 在启用 Arm 第二代可伸缩矩阵扩展 (SME2) 功能的 Arm CPU 上本地运行,用户拍摄照片后,能直接在端侧获取详细场景描述,无需联网,也无需将敏感数据传出设备。
这些基于 Arm CPU 的探索充分展现了 Arm 计算平台的广泛灵活性,以及在 CPU 与异构计算路径上持续创新的潜力。
这样一来,开发者便能实现更低延迟、更强隐私保护且不受网络状况影响的更稳定用户体验。 从依赖云端转向本地推理,对移动应用而言意义重大,既能为开发者降低基础设施成本,为用户提升体验可靠性,还能催生出全新类别的实时应用。
Envision 首席执行官 Karthik Mahadevan 表示:“Envision 很高兴能与 Arm 和 Google 合作,将强大的无障碍体验直接落地到智能手机。在启用 SME2 的 Arm CPU 上本地运行 Gemma 4 等视觉理解模型,为失明与低视力用户带来了高可靠、低延迟的场景描述与视觉问答功能。对我们的用户群体来说,离线使用这些功能意义重大,既能确保技术随时随地可用,又能让更多数据处理留在端侧,进一步提升隐私安全性。”
Envision 是 Gemma 4 在移动端与 Arm 计算平台相结合的一个早期应用案例。 随着越来越多的开发者集成 Gemma 4,端侧 AI 将逐渐成为主流架构,而非小众选择。
为什么 Arm 对安卓生态规模化部署端侧 AI 至关重要
Armv9 架构是目前安全性、普及度与先进性均处于领先水平的指令集架构 (ISA)。 Arm SME2 作为 Armv9 架构中的一组高级 CPU 指令,是一项核心技术,能够在智能手机的功耗范围内高效加速矩阵密集型 AI 工作负载。SME2 已内置于最新安卓智能手机搭载的Arm C1 CPU 中,可实现更高且更稳定的性能,同时提升能效。
Arm KleidiAI 是 Arm 推出的软件加速层,已集成到 Google XNNPACK 等主流运行时库,以及 Google LiteRT 和 MediaPipe 等框架中。移动端开发者无需修改现有代码、模型或部署管线,即可直接享受 SME2 带来的性能优势。 因此,开发者只要面向启用 SME2 的 Arm 架构安卓设备进行开发,就能自动获得开箱即用的性能优化。
实际上,这些软件层面的优化会直接转化为更出色的端侧体验。用户可获得更快的响应速度、更流畅稳定的交互,以及更可靠的端侧 AI,同时在模型能力持续增强的情况下,依旧保持电池续航和温控表现。
安卓工程总监 Sandeep Patil 表示:“想要在安卓生态系统中高效地落地 Gemma 4,需要软硬件深度协同。 我们与 Arm 的合作彰显了双方共同推进端侧 AI 发展的决心,将 Armv9 架构以及 SME2 等内置加速技术的优势,与安卓操作系统相结合,规模化释放更高的性能和能效。我们正携手降低开发门槛,让开发者无需修改现有应用,就能为用户带来高速、灵敏且兼顾隐私安全的 AI 体验。”
Arm 与 Google携手共筑端侧 AI 未来
随着越来越多的应用将 AI 迁移到端侧,Arm 与 Google 将持续为开发者提供易用的性能优化方案和清晰的指导,助力 Gemma 4 在所有基于 Arm 架构的移动设备上全面加速应用体验。
移动端 AI 的未来并非只取决于更大的模型,而在于模型能否在安卓生态系统中高效、安全、广泛地规模化运行。 通过此次合作,全球数十亿安卓智能手机用户都将享受到端侧 AI 带来的体验升级。
全部0条评论
快来发表一下你的评论吧 !