本文4236字阅读约需11分钟

    全球的安全运营团队正在被大量的告警覆没。最新的调查显示，众多安全运营团队以为SOC的首要工作是“降低误报”。

    通过自动降噪
、告警去重
、综合归并等战术，能够成功将告警数量从每天十万条降至每天800条左右。

    一
、告警过载困扰全球SOC分析师

    最近的一项全球调研显示，超过80％的安全运营团队以为，他们的工作及家庭生涯正在受到告警过载带来的严重影响。

    受访者暗示：：：正在被大量的告警覆没，并认可他们对自己可能确定告警优先级和实时做出响应作为没有信心。均匀而言，受访者有超过四分之一的功夫都在处置误报。同时也揭示了当前的现实情况：：：安全工具无法援手安全团队处置来自于众多安整系统的告警。

    很多人认可在面对巨大的告警过载压力时，曾选择关闭告警（43％）
、脱离推算机（43％）
、寄但愿于团队其他成员染指（50％）
、甚至选择忽略（40％）。

    钻研显示，告警过载引发的委顿和焦虑，还影响了他们的家庭生涯，在感情上造成了巨大的损失。70％的受访者宣称自己在工作之外也感应巨大压力，以至于无法停息或放松，并且对伴侣和家人感应烦躁。

    波耐蒙钻研所（PonemonInstitute）在2020年和2021年别离颁布了两份题为《SOC的经济学：：：出成效到底要花几多钱》的系列调研汇报。

    在针对大型企业安全运营中心（SOC）治理者的682份的有效问卷中，有88％的受访者（2020年是84％）以为SOC排名第一的首要工作是“降低误报”，而安全厂商越发看重和强调的“告警监测”
、“威胁检测”能力，仅仅排在第五名和第八名。

    这样的调研了局与AB钱包固有认知存在较大差距，然而这就是事实，是众多安全运营团队的真实诉求。

    二
、什么造成炼警过载

    原因一：：：安全设备和产品众多，导致海量数据输入和数据反复。

    随着国内大型企业和机构安全建设的逐步成熟，采购和投入使用的安全设备和产品越来越多，安全运营中心（SOC）必要监管爆炸式增长的海量数据和各类资产信息。

    调研汇报显示：：：SOC监管最多的安全产品顺次是防火墙
、IPS/IDS
、认证系统
、威胁谍报
、邮件安全
、云安全
、EDR
、漏扫
、中央件
、终端安全等产品。除了十种典型安全产品，SOC还时时必要监管诸如：：：数据库审计
、上网行为治理
、碉堡机
、4A认证
、VPN认证
、零信赖认证等众多审计类产品的海量数据和告警。

    数据量的增长同时又引发了严重的数据反复景象。由于单个安全产品的能力越来越趋向于多样化
、多职能，势必造成了部门安全产品的能力重合，例如NGFW
、UTM
、IPS
、流量探针等网络安全设备可能对统一份网络流量，都能检测出常见的网络攻击事务，其内容也包头小异，一旦反复部署，对于SOC分析师和运营人员的工作量却造成了数倍的增长。这是造成告警过载的首要原因，且出现出日益加剧的趋向。

    原因二：：：安全运营工具未能对海量告警有效降噪
、去重
、归类归并

    安全运营平台类产品正迅速得到遍及。作为安全运营的重要工具，安全运营平台产生的初衷是援手安全团队治理爆炸式增长的数据和各类信息，以实现一站式的告警监测和多源的日志治理。

    然而，无数平台并未有效地解决因数据量过大和数据反复引发的告警过载问题。其性质在于平台不足对于各安全产品上报的告警数据进行有效的质量评估
、过滤
、去重和归类归并，也就是平台未能自动地对那些显著无效
、质量差
、价值低的数据进行筛选过滤，也未能有效地对反复或反复产生的告警进行自动化地去重和归类归并。

    原因三：：：人是SOC运营成功关键，而招人
、育人
、留人都很难。

    波耐蒙钻研所颁发的调研了局暗示，人（分析师）是SOC成功的关键，也是SOC支出的大头。但分析师的雇佣成本也很高，SOC必要的人多
、人贵，而招人
、育人
、留人都很难。

    调查显示，招聘到一名分析师均匀耗时3.5个月，培训要破费3.8个月，但分析师的均匀供职功夫只有27.2月（2年左右），人员的流动性也很高。

    从分析师的角度来讲，他们的工作也很劳累。70％的受访者认可，由于告警过载
、信息太多
、7X24X365待命等问题，很快就会筋疲力尽，直接促使了人员的流失和招聘难题，进而导致更多的告警无人分析和实时响应，加重了SOC的失效，从而形成恶性循环。

    平衡告警过载带来的压力，缓解运营人员的工作职守，已成为SOC急需解决的问题。

    三
、若何应对告警过载

    1
、理性选择必要监测的数据源

    首先，安全团队应理性评估各类安全产品的能力覆盖领域和数据重合度，安全产品并非采购的越多越好，如不合理规划和分配各安全产品的职能，预防安全能力的重合，未免会造成不用要的浪费。

    对于显著反复的数据，例如捕获一样流量的FW
、IPS
、流量探针，我们当真做了数据质量评估，并选择了过滤，保留数据最全
、质量最好
、检出率最高的设备告警，作为告警首要出现起源和重要分析对象，其改日志仅用于存储和辅助分析，不作为首要分析的对象。

    案例：：：国内某大型金融机构，占有超过5万台终端/服务器
、多家分公司
、多个数据中心及外洋办公区，安全基础建设相对成熟，拥罕见百种的网络安全设备和审计类产品，其安全运营中心（SOC）每天仅收到的网络威胁告警就数以十万计，安全团队认可，他们最多处置全数告警的极度之一，压力可想而知。

    我们分析发现其DMZ区受到外部攻击的告警数据存在严重反复景象，经过严格的数据质量评估后决定仅监控WAF上报的告警数据，其数据质量相对最高，蕴含齐全的要求响应体
、payload信息
、以及攻击是否成功阻断等关键信息。对于反复上报的NGFW的数据不再作为首要分析对象，成功削减了40%的反复告警。

    2
、自动降噪无效告警

    常见的极易引发无效告警的几点成分：：：

    已阻断的攻击，无效攻击

    下级DNS服务器的要求，定位不到终端

    DHCP分配IP引发的告警，定位不到终端

    负载平衡
、代理服务器，转发要求，定位不到真实起源

    案例：：：某部委官方网站，每天遭逢的扫描和探测行为频发，来自防火墙
、流量探针
、WAF告警数量数以万计，经过度析发现，大无数攻击告警的响应码为0，-99，下行字节数为0，TCP衔接状态为TMO，原因是由于绝大无数的攻击已被WAF成功阻断，没有响应流量。

    通过AB钱包NGSOC平台成立过滤规定，将这些关键字段的无效值直接过滤掉，对于防火墙
、IPS的告警，通过筛选“是否阻断”字段的值，仅保留“放行”“允许”的告警，作为首要分析对象，援手分析师确定告警优先级。成功削减了90%的无效告警。

    3
、深度关联资产信息，去除反复告警

    告警反复景象还阐发为因负载平衡
、代理服务器
、多级DNS服务器等设备将网络要求进行转发，转发前后的流量同时被捉拿到。流量中的攻击事务被网络安全设备（IPS
、流量探针
、WAF）反复检测，造成告警数量的翻倍，例如，常见的恶意域名要求事务，下级DNS服务器对上级DNS服务器的域名要求同样产生了告警，且无法定位真实要求源，这类告警是典型的既反复又无效的告警。

    我们将告警关联了要求源IP属于客户的下级DNS服务器的告警，进行了过滤，削减了约50％恶意域名要求的告警数量。此外还分析发现，由于该企业的NGINX代理服务器的转发前后的流量都被捕获到，转发后的要求流量就存在告警反复且无法定位攻击源的问题，难以在第一功夫对来自互联网的攻击者进行定位和封禁，因而我们也对其进行了过滤，凡是攻击源来自于NGINX服务器代理地址的告警，都不做首要关瞩指标，只关注要求转发前的攻击事务。

    这类告警优化战术，成立在对企业资产信息的充分相识之上，我们必须把握企业的一些关键资产信息，尤其是对于容易引起告警反复
、误报的资产信息都要有明显的认知，并通过运营工具将这些信息与告警进行自动关联过滤，例如客户定期漏扫
、云监测
、资产探查等等服务其实城市周期性的引发告警，在不明显这些资产信息的情况下，势必给分析师带来很大的误导和困扰。

    案例：：：某企业内网，RDP登录失败告警频发（RDP爆破），服务器数量多达上万台，告警数量巨大，客户虽明确划定必要通过40台碉堡机能力直接衔接服务器，但落实难题，急需揪出哪些绕过碉堡机直接RDP衔接服务器的疑似爆破行为，这类作为重点关注事务，而碉堡机与服务器衔接失败露务，多为治理员的手误行为，不作为首要关注。通过AB钱包NGSOC关联规定的关联客户资产信息，过滤出源IP来自于非碉堡机，而主张IP为客户主题业务资产的服务器IP的RDP登录失败行为，精准定位违规和疑似内网横移行为。

    4
、告警归类归并

    通过上述的降噪和过滤战术，告警数量已经显著降落至逐日数千条，削减了约94％的无效
、反复告警，但对于人员有限的SOC分析师来讲，数量还是不低，依然很忧郁因无法逐一查看这些告警而被迫忽视真正高危的安全事务。

    持续分析告警类型不难发现，好多告警虽不反复，但却是反复产生，例如常见的弱口令事务
、信息泄漏事务
、敏感目录接见事务
、未授权接见事务等，此类事务并非攻击性质的事务，而是属于脆弱性事务或称之为治理忽略事务，这类事务因涉及太多的主机
、用户和服务，因而引发的告警数量极度多，单纯的依照IP
、用户名
、主机名去归并也不能齐全解决问题。此类事务该当被合理的综合总结，而不是八面玲珑的逐一展示，预防造成告警的堆积，覆没掉其他更具分析价值的真实攻击事务。

    我们积极地调整检测规定的“归并战术”，使此类告警在规按功夫窗口内产生的所有告警归并为一个事务，并做功德务分类，使这类脆弱性事务不与其他网络攻击事务混为一谈。

    客户只需周期性的查看该事务并督促该事务中涉及的所有效户和主机责任人进行整改即可。此外，还需对分歧的类型的事务进行了分类和定级，例如威胁谍报事务的可信水平极高应该首先被关注，内网攻击事务优先于外部攻击事务，重点资产的安全事务优先于用户终端的安全事务等等，这些合理的分类和定级，能援手分析师确立优先级，并定向地去查看。

    至此，我们通过自动降噪
、告警去重
、综合归并等战术成功将告警数量从每天十万条，降至每天800条左右，均匀每1亿条日志仅出现给分析师34条高度综合总结后的事务，作为SOC分析师调查分析的入口。

    安全运营平台作为大型企业一站式告警监测与多源日志的治理平台，在这些优化工作中表演了重要的角色。我们一向以为，若是只是不经加工的日志存储和不经过滤的告警出现，那与从前没有平台的时辰何异？一个优良的运营工具肯定要越发智能地援手安全团队去解决非主题业务，让安全分析师可能将更多精力和功夫专一于告警分析和事务响应这种主题业务上，不要被告警过载问题所困扰。至少在当下的技术系统和运营近况下，工具仍无法包办身，那么工具就肯定要援手到人。

    笔者深知这些技巧和经验还不及以解决安全运营中的全数问题，安全分析师的工作繁重而劳顿，但愿谨以此文可能肯定水平上援手到更多企业和国内稀缺的安全分析师。

    关于作者

    Goldman，虎符智库特约作者，AB钱包NGSOC威胁建模团队成员，钻研方向为Windows域安全
、账号安全
、UEBA
、ATT&CK善于构建用户异常行为分析模型，持久从事威胁建模工作，协助企业发现用户违规和异常行为等内部威胁。