AIGC时代安全大模型的探索与实践
通信世界网消息(CWW)2022年被称为AIGC元年,随着ChatGPT的问世,大语言模型在AIGC的赛道上一时风头无两。2023年,新华三推出"百业灵犀"私域大模型,为垂直行业提供智能化服务,并基于在网络安全领域的多年深耕,将大模型与安全业务融合,形成了丰富的技术实践。
大模型在安全领域的典型应用
自2022年起,各个安全厂商都开始基于大模型构建自己的产品和商业模型,并迅速更新迭代,一时间百花齐放。透过让人眼花缭乱的表象,分析总结可以归为三类。
一是通用安全大模型分析工具。将大模型与安全领域知识结合,为用户提供有效的分析工具,协助用户作出更加高效的决策。例如,安全专业人员可以利用大模型分析工具从现有情报中学习、关联和分析威胁活动,快速发现问题点,及时处置响应。
二是大模型赋能现有安全产品。将大模型与现有安全产品相结合,提升现有产品能力,增强用户感知。例如,将大模型与高级威胁检测产品相结合,可以提升威胁检测率、降低误报,并给出个性化诊断,用户使用更加便捷。
三是私域化行业安全解决方案。基于垂直行业、特定场景对大模型进行定制化微调,面向用户真实的安全需求,为用户提供一体化安全解决方案。例如,数据中心场景下,数据管理要求严格、敏感性强,大模型赋能的安全运营体系可以智能化分析数据流转全过程,辅助威胁研判、响应违规事件、给出加固建议,保障数据不外泄。
以上所述三类应用的场景各不相同,解决的问题也并不一致。但如果探究三类方案的实践,可以发现其底层逻辑是相似的,即依托于安全领域知识训练出专用安全大模型,增强安全能力,并落地到场景化需求中。
网络安全领域大模型落地的难点分析
虽然目前推出大模型方案的安全厂家有很多,但能够真正落地并得到广泛应用的却凤毛麟角,其根本原因是大模型赋能的实现路径上存在三大难点,阻碍了安全大模型底层逻辑链路的打通。
第一个难点是安全私域大模型的构建。网络安全涵盖了多种威胁、攻击和防御技术,通用的大模型很难适用于网络安全场景。为了提高大模型在网络安全领域的表现,需要对大模型进行微调训练,让其具备更高的领域专业性和实用性,契合安全领域要求。构造适合知识数据集,并利用合理的方式进行微调训练是安全大模型的基础,这就需要安全厂商既要有丰富的安全领域数据积累,还要有大模型训练领域的实战经验。
第二个难点是安全大模型和产品的融合。大模型的关键特性是理解和分析数据,还可以创造新的、独特的输出。大模型和安全产品的融合,本质上是为了利用大模型协助安全产品进行数据分析,提升产品能力。但现在一些安全产品往往是拿大模型作为噱头,大模型和数据并未深度结合,二者是分层的。大模型赋能安全产品的前提是对产品逻辑进行梳理,回答几个关键问题——产品可以输入哪些数据?需要得出哪些结论?大模型训练是否充分?大模型如何与原有产品实现功能和接口上的对接?只有将大模型和安全产品在数据层面打通,才能真正实现AI赋能安全。
第三个难点是安全大模型的场景化。不同的行业具有不同的安全重点,需求也并非完全一致。金融、政务等行业场景重点关注于内网数据的合规使用,需要分析数据流转过程,强化对越权访问、违规事件的发现。运营商、教育等行业场景重点关注于内外部网络攻击,需要分析网络流量,增强对高级威胁、病毒木马的检测。如何在通用安全能力的基础上契合行业用户的侧重点,也是大模型落地的关键。
新华三安全大模型的技术实践
新华三安全依托于百业灵犀私域大模型,结合在网络安全领域积累的丰富专业的实战经验,打通大模型赋能的三个关键点,实现了大模型与安全业务的真正融合。
基于安全私域知识的大模型微调
在构建安全领域大模型之前,需要收集和整理各种安全行业领域的知识,依托于新华三多年的数据积累,除了安全基础知识、威胁情报数据、攻击样本数据等开源数据外,还提供了网络协议、攻击载荷、攻防案例等经验数据。
图1 开源模型ChatGLM分析网络流量包的表现
如图1所示,通用的ChatGLM在分析一个完整pcap包时,没有具备协议层的概念,将每一行字节码错误地分析为IP报文中的源IP和目的IP等字段。新华三安全提供了大量网络协议报文作为私域数据集,通过提供原始报文的hex字节码形式,提问分析报文结构和字段解析。通过“提问-回答”的方式提供网络协议解析的数据,如图2所示。
图2 通过GPT获取的网络协议分析数据
在获取私域数据集后,需要进行进一步的微调。微调是在特定任务或领域进一步训练大模型的过程,在经过预训练后,模型根据特定任务的标记数据进行微调,以使其知识适应特定的下游任务。
第一步是监督微调(SFT),将安全私域数据集,采用"{prompt}+{response}"的形式进行拼接,再用拼接好的数据进行有监督的微调,如表1所示。
表1 有监督的微调
第二步是奖励博弈(RM),构建安全领域对比数据,通过人工区分出好的回答和差的回答,随机采样一些prompt,通过模型生成多个response,通过人工对结果进行两两排序。
第三步是基于人类反馈的强化学习(RLHF),引入专业安全专家协助模型微调,确保模型不会太偏离原来的模型,并且能输出高质量的回复。
基于安全大模型的产品赋能
安全大模型向产品赋能的过程,首先要分析产品需求,明确可提升能力的功能点;再收集数据,利用数据集对安全大模型进行针对性的微调;最后开发接口调用对应的能力,实现大模型的调用。
新华三流量高级威胁与溯源系统(NDR)是针对APT检测、处置、溯源场景的安全分析与运营产品,其在安全事件分析、网络攻击研判、资产风险加固、全网风险报告等各个功能点引入大模型,通过大模型提供的智能辅助,更好地实现威胁发现处置的效率和能力。例如,传统安全事件分析功能中,在安全事件发生后,其对整网的安全影响程度通常需要人工判断和分析,然后根据具体攻击的方法或漏洞进行处置。NDR结合大模型,可以根据不同的攻击类型,结合知识模型预测下一步攻击方向,并给出处置建议;通过这些信息帮助安全运营人员更好地理解产生安全事件的缘由,深入挖掘具体攻击,从而提供更好的支持和服务,如图3所示。
图3 安全事件分析
基于安全大模型的场景化实践
安全大模型的场景化实践,需要针对用户具体场景,分析用户的关键需求,再引入对应的大模型产品提供安全能力。在运营商行业,新华三融合AIGC技术,升级主动安全体系,护航运营商网络的安全与稳定。这一融合不仅提升了运营商在面对日益严峻的网络安全挑战时的应对能力,同时也为运营商提供了更加安全、高效的服务体验。
1.实现对网络异常行为的智能识别,提前发现和预防潜在的安全风险,实时预警,降低风险。
2.提高网络安全防护的主动性,对网络攻击进行智能预测,实现对网络的主动防护,从而保障业务的稳定运行。
3.提升合规性,通过智能分析,及时发现和处理不合规行为,规避不合规风险。
4.缓解网络安全专业人才短缺的问题,实现对安全事件的自动化响应和处理,降低对专业人才的依赖,提高安全管理效率。
新华三借助AIGC技术强化的主动安全体系,为构建坚实可靠的网络安全防护提供了有力支持,确保运营商网络的安全与稳定。
安全大模型的现在与未来
乱花渐欲迷人眼,浅草才能没马蹄。多种多样的安全大模型产品和方案不断涌现,纷纷展示一技之长。有的致力于通用安全能力的落地,通过安全大模型提升安全实践效果;有的关注细分领域能力增强,解决安全大模型在细分领域的准确性;也有的则关注大模型带来的商业模式转变。
在这个人人都在拥抱A I G C的时代,网络安全行业的发展将更加多元,AIGC在网络安全领域的应用会更加广泛和深入,产品和方案将更加个性化和定制化。随着数据保护和隐私保护法规的不断加强,安全私域模型将成为未来发展的重要趋势。而对于百行百业用户,如何从众多安全大模型中找到合适的那把钥匙,构建适用于自己行业领域的安全大模型方案,将成为未来决胜AIGC时代的核心价值所在。