英特尔助力安恒信息加速恒脑大模型推理

如今，安全大模型正在为网络安全行业带来深度变革，在网络安全分析、威胁检测、智能策略制定等方面扮演着重要角色。推动大模型在安全场景落地，不仅需要基于安全领域知识，训练和微调出高质量的安全大模型，还需要面临在用户侧部署所需的性能、成本和灵活性挑战。然而，安全大模型有着巨大的参数规模以及复杂的事务处理逻辑，这对算力也提出了新的需求。

01恒脑 • 安全垂域大模型系统

杭州安恒信息技术股份有限公司（简称：安恒信息）推出了基于英特尔 至强 可扩展处理器的恒脑 • 安全垂域大模型系统（简称：恒脑），依托底层多源异构模型、算法调度引擎及海量安全知识，能够根据业务场景需求切换多种安全角色。

◆ 架构设计：

- 引入模型适配器，使恒脑可平滑接入多种基础模型； - 专项优化的算法调度引擎，使推理任务可跨硬件、跨平台执行；

- 融入海量安全知识，使恒脑具备多业务场景资深安全专家技能。

◆ 功能开发：

- 研发智能问答、增强检索、研判驾驶舱、智能体等功能，实现安全运营智能化和客户本地知识融合，提升网络安全运营效率，更易于部署在客户私网环境。

◆ 赋能应用：

- 开放接口、插件、原子能力等方式与现有安全产品或系统深度融合，赋能安全运营人员探索更多场景可能性。

恒脑充分秉承“让安全更智能，让智能更安全”的使命，为用户提供了高效、高性价比、灵活的安全大模型部署选项。

02英特尔 至强 可扩展处理器，

加速恒脑大模型推理

为了兼顾性能、成本等方面的考量，恒脑使用第四代英特尔 至强 可扩展处理器，应对中小规模场景的模型推理需求。

第四代英特尔 至强 可扩展处理器内置了创新的英特尔 AMX加速引擎，在AI性能上更进一步，为恒脑-7b、恒脑-14b模型的推理提供卓越支持。英特尔 AMX针对广泛的硬件和软件优化，通过提供矩阵类型的运算，显着增加了人工智能应用程序的每时钟指令数 (IPC)，可为AI工作负载中的训练和推理上提供显著的性能提升。

恒脑推理生成速度测试

恒脑利用英特尔 至强 可扩展处理器进行推理加速，让用户能够获得以下价值：

高效处理百亿级别的安全知识条目，满足智能问答、事件总结报告生成等应用对于性能的需求；

高效利用现有的CPU服务器资源进行推理，降低AI加速器部署与运维带来的成本压力，实现更高的投资收益；

获得由AI扮演的安全运营专家等安全角色，提升安全运营能力，护航网络安全。

目前，采用第四代英特尔 至强 可扩展处理器的恒脑在智能问答、事件总结报告生成、报文研判等实际场景中得到了广泛应用。

通过与英特尔 至强 可扩展处理器进行深度适配和性能优化，可有效加速恒脑推理，助力用户构建起高效能、高性价比的安全垂域大模型系统，有力驱动了网络安全效能的整体跃升与效率改善。

一王欣

安恒信息研究院院长、高级副总裁

未来，安恒信息将与英特尔在安全大模型方面进行进一步合作，进一步释放安全大模型的巨大价值。