一、行业挑战
近年来,网络对抗日益激烈,高危漏洞数量不断增长,在野漏洞利用不断增多,2022年超过70%新增在野漏洞被攻击者武器化利用。高级持续性威胁(APT)组织滥用合法基础设施隐匿攻击行为,变形绕过检测成为常态。目前,攻击手法日益复杂,已很难通过单一固定的专家规则来进行表征。面对当下复杂多变的网络攻击现状,仅基于传统规则或失陷指标(IOC)的检测效果将大打折扣。
二、人工智能技术在安全领域的应用与挑战
为解决前述挑战,人工智能技术逐步被应用于安全领域,比如入侵检测、垃圾邮件检测、恶意软件识别等领域。应用人工智能技术有助于识别新威胁,加强对未知逃逸攻击的发现,还可提升检测与响应效率,支撑平均检测时间(MTTD)和平均响应时间(MTTR)等运营关键指标,快速应对不断增加的在野漏洞利用。
但是,业界对于人工智能技术在安全领域的应用效果也一直存在争论,其面临的挑战如下:
● 安全场景问题发散,基于已知有限样本集无法预测未知的未知
人工智能算法本质是基于样本抽象出特征,进而基于特征表征问题,然后再用于新数据进行推理判定。但安全领域中标注样本少,安全问题多样,仅基于已知样本构建的人工智能算法模型难以表征所有攻击场景。
● 通用人工智能安全算法模型不完全满足所有应用场景,导致无效告警产生
通过安全算法模型可以发现更多的安全问题,但不同的客户场景业务、网络和资产属性不尽相同,会导致通用模型检出的告警中存在一定的无效告警或误报,如果算法模型不能自适应优化,就需要安全分析人员重复研判分析,这将会大大增加运营成本。
● 人工智能算法模型检出告警的可解释性难以支撑安全人员处置威胁
只有告警的可解释性足够高,安全分析人员才能从事件描述中了解攻击详情,对威胁进行精准处置。基于专家规则或IOC检出的告警可以展示安全属性的命中字符或IOC碰撞结果,产品会高亮显示攻击载荷片段,解释性较高。但人工智能算法模型自身缺乏透明度,若其检出的告警描述仅呈现如报文大小、概率值等特征原始数值,将很难支撑安全人员进行告警处置。
三、我们的方案
安全态势感知系统的本地检测与分析框架提供多维度智能检测分析能力,业务白模型、异常检测模型、攻击检测模型、关联模型和事件自动研判模型互相配合,结合规则、Threat Intelligence等已知检测能力,共同构成一套具备场景化自适应能力的智能威胁检测体系,经过多阶段分层检测,检测结果逐步收敛,变得更加准确。此外,安全模型也会利用本地反馈信息自演进,同时可与云端安全智能中心对接,实现Threat Intelligence、人工智能算法模型、专家规则库等能力的快速升级。
1、 业务白模型
针对有限的正常业务行为建模,利用时间序列、无监督等模型构建业务基线形成主动防御模型。在无法穷举安全问题背景下,基于正常识别异常,解决威胁数据少的问题,并且还可以避免由正常业务的使用命中了攻击特征而导致的误报,在缺少先验知识的情况下,也能发现威胁。
2、检测模型(异常检测模型、攻击检测模型)
明确具体的待检测场景,精细化检测目标,基于攻击技术打点。
异常检测模型可基于流量异常(如请求频次、响应时间和大小关系、周期性异常等)和行为异常(如时间、地点、访问行为异常等)进行异常识别,持续感知未知威胁。攻击检测模型是基于对攻击技术和真实数据的学习进行建模,从而检测攻击,结合业务模型和异常检测模型检出的结果将更加完整和精准。
华为HiSec Insight安全态势感知系统涵盖了攻击链路检测的全流程,囊括了信息搜集及准备、入口突破、持续控制、数据回传等阶段的30多种攻击场景,包括了近20种基于智能技术的检测算法。其涉及的关键技术有:
● 语义分析引擎
语义分析引擎利用语义分析原理将绕过传统规则检测方法的攻击还原,然后利用人工智能算法检测进行告警,提升绕过检测攻击的检出率以及告警描述的可解释性。
● 多维度检测
检测方案结合人工智能检测、行为分析、专家规则、Threat Intelligence等不同检测逻辑进行检测,实现优势互补。如C2流量检测结合了网络协议和加密两个维度进行检测,分别从应用层、传输层、网络层以及内容和通道是否加密等维度,把IOC检测、规则检测和人工智能算法检测逐层分解覆盖,最大化检出覆盖度和准确度。
● 本地自演进
不同客户的环境和业务不同,通用模型无法解决客户特定场景问题,检测框架需要具备在本地环境中通过人工智能和反馈自主学习的能力,以逐步减少无效告警。
安全运营人员对告警进行配置和标记,如标注误报、配置场景化的白规则、配置研判逻辑等,配置和标记的结果会反馈至检测框架,检测框架会结合本地资产、网络等信息进行自演进。在经过一段时间的运营分析后,检测框架会自演进并适应特定场景,无效告警和误报告警数量将大大减少。
3、关联模型
通过关联引擎、图谱技术等能力,关联模型基于逻辑、统计、时序、资产、Threat Intelligence、攻击链等场景将多来源日志进行关联,生成优先级更高,取证信息更丰富的告警事件。这有助于识别有效攻击,减少安全告警数量,帮助安全人员快速发现潜在风险。
4、事件自动研判
基于历史事件处置结果、安全运营人员研判经验,以及告警基础信息、本地资产、网络和业务属性信息,构建事件自动研判模型,以实现事件自动研判处置、优先级调整以及攻击是否有效的判定,降低人工运营成本。
案例说明
下图展示的是一起现网攻击案例,攻击者利用某应用的文件上传漏洞发起攻击、植入webshell,进而进行挖矿和内部扩散。
针对该攻击,首先,华为HiSec Insight安全态势感知系统基于业务白模型基线算法在web日志中发现文件上传接口的异常请求,该异常请求随后被送往后端检测模块。然后,基于流量、主机日志的多种攻击和异常检测模型进行检测,产生多种告警,进而提升告警事件的准确度和可解释性。最后,告警关联模型将多个告警关联聚合生成威胁事件,自动化研判模型对所有告警和事件进行智能研判,自动进行处置或提供处置建议,提升告警处置效率。
四、结束语
人工智能技术是自主化、智能化安全不可或缺的关键技术,但也不是拿来即用的灵丹妙药。问题的解决大都始于场景的理解、简单方法的尝试以及与专家经验的结合,要将人工智能更好地应用于安全领域,需要我们对安全业务有深入的理解,对应用场景、攻击技术和安全数据有更全面的认识,同时还需要我们基于实验数据、攻防演练和现网环境对算法模型不断进行验证和迭代优化,建立一个能够适应场景变化的智能系统。这是一项艰巨耗时且需要创新的工作,人工智能在安全领域的应用道阻且长,但行则将至。
原文标题:安全态势感知专家说第2期:人工智能技术在态势感知的应用
文章出处:【微信公众号:华为数据通信】欢迎添加关注!文章转载请注明出处。
全部0条评论
快来发表一下你的评论吧 !