声明：

本文根据三篇论文整合而成，相关出处在附录。故而放弃本文的一切版权，您可以在不损害第三者权益下任意使用本文。

感谢：

指导老师。您太水了，啥都没指导。

答辩老师。感谢您派我去安恒，让我看清了这个体制。在最后的答辩时就问了我一个问题，让我顺利通过。

安恒网络空间安全学院郑先生。本文部分内容经由您指点，感谢。以及整个学院的各位，虽然只能在此感谢，但我本来就不指望传达到。

我的同事柴先生。针对查重率，经过您的指点已经骤降。虽然学校没有太在意查重率。本文三分之一以上经由您协力完成。

以及最大的感谢给三篇论文的原作者，没有您们的工作就没有本文。

以上均不在提交的正文内。正如下图而言，周围同学甚至业界都是充斥在谎言中，我自己也不例外，我就是做不到把谎言重复一千遍。

一、背景介绍

    在当前的大数据时代下，我国计算机网络技术得到了重要支持，同时也推动了企业管理水平以及社会经济发展的提高。当今信息安全与社会数据越来越重要，信息技术发展迅速，计算机网络在人们的生产与生活中得到了广泛应用，并且渗透到生产与生活的各个领域。计算机网络的使用，使得人们之间的交流更为便捷，对数据的处理也更为迅速。但是，由于计算机网络具有开放性、虚拟性等特征，为计算机网络安全埋下了隐患。

二、需求分析

1.目前在大数据背景下计算机网络信息存在的安全问题

    （1）黑客入侵

    对于商业机密和国家安全机密，信息的安全至关重要。 许多计算机用户正在使用计算机技术入侵网络系统以窃取相关信息，并且还可能对网络和黑客造成破坏。入侵当前集中在企业，政府和个人用户的计算机系统上。

    （2）网络病毒

    网络病毒入侵是窃取计算机信息的重要渠道。 如果计算机用户在不安全的环境中登录或下载，则可能被病毒感染，并且网页可能被更改。 网络病毒是隐藏的，具有高度传染性和破坏性的。 同时，随着网络技术的发展，网络病毒也随之更新，相应的破坏性特征也得到了增强。

    （3）计算机漏洞

    计算机系统需要定期进行更新换代，如果不使计算机升级，就可能由于计算机自身的漏洞带来网络安全隐患，不仅可以进行信息的存取服务，系统也容易受到病毒感染，黑客入侵的概率也会大大提升。

    （4）网络诈骗

    在近年来金融犯罪案件中，网络诈骗的犯罪案件数量在逐年提升，不法分子利用网络、IP、电话等打造出系统的诈骗模式，很多人都会由于防范意识不足而进入陷阱，通过网络聊天工具、散布虚假信息都可以达到实现诈骗的目的。

2.传统的安全防护模型或产品的局限性

（1）以本地规则库为核心，无法对已知威胁进行有效检测

（2）没有数据智能，无法对未知威胁进行感知

（3）没有协同联动，无法对网络进行协同防御

（4）没有数据支撑，无法对已知攻击进行溯源分析

三、方案整理

    网络态势指由各种网络设备的运行状况、网络行为以及用户行为等因素所构成的整个网络的当前状态和变化趋势。态势感知平台需要通过主动发现、导入或创建的方式来，识别和梳理目标网络中要被防护的资产及业务对象。用资产安全的视角，审视资产的整体安全防护状态，包括但不限于资产受危害的情况、资产存在弱点的情况、资产遭受攻击情况等围绕资产的感知并加以利用，是安全态势分析的基础。态势感知平台可以通过机器学习技术，快速定义威胁的种类，识别隐藏在威胁之后的本质行为，同时，可为用户提供行为的分析建模，构造网络白环境。为用户提供基于汇总全网相关的攻击行为相关信息的攻击感知，通过统计分析、关联融合等手段对攻击信息进行闭环处理，提供全景式的攻击态势监视，具备从遭受攻击、攻击的类型、分布、攻击关系、趋势、攻击结果等维度进行攻击态势呈现的能力。

1.  技术架构

    构建网络安全态势感知平台，一是采集整个防御链条下的应用、服务、边界、终端等各类安全数据，收集与网络安全有关的各类威胁情报信息，并将这些数据进行统一存储，形成安全数据仓库。二是结合各类安全规划、安全模型、分析算法等，对数据仓库中的海量安全数据进行深度挖掘分析，从中发现安全事件、分析潜在威胁、预判未知风险，通过大数据智能分析产生网络威胁情报。三是基于大数据的分析结果和产生的威胁情报，实现网络安全威胁报警、重要安全系统的实时监测、网络风险预警及感知、可视化态势展示等应用。

2.  网络安全威胁数据汇聚与存储

    实现网络安全威胁数据汇聚与存储，一是要确定要采集的态势感知数据源 ；二是运用大数据存储管理技术将所采集的数据统一存储到大数据平台中，形成原始的数据仓库。

    根据一次网络攻击所追踪的结果，涉及以下等多个环节：

    （1）应用安全审计

    （2）风险报警

    （3）恶意代码发现

    （4）网络流量特征检测

    （5）终端操作行为检测

    （6）应用访问授权

    （7）身份认证

    在这些环节里，每个环节都有可能发现网络攻击的行为特征，所以在数据汇聚中要尽可能收集覆盖网络攻击操作链条。

    数据存储主要使用Hadoop。Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

3.  面向威胁情报的大数据分析

    汇聚完数据后，就要进行对数据的整理分析，使数据转换为可以利用的情报。分成三个步骤：

    （1）数据预处理。通过特征抽取、数据融合、关联分析等方式将原始数据重新组织，形成基础的数据关系图。

    （2）模型设计。结合实际攻击中的数据统计特征、攻击链特征、行为特征等，设计数据分析的流程、方法和规则，形成大数据分析的具体模型。

    （3）数据分析。采用离线分析、实时分析等方式，对预处理后的数据依据分析模型进行深度挖掘，从中发现潜在威胁、预判未知风险、感知网络安全态势。

    数据预处理由三个过程构成，首先进行数据清洗，将原始数据通过数据规则匹配和数据标注进行清洗，形成精准的基础安全数据。然后进行数据整合。将基础安全数据基于已知特征进行合并，形成具有相同特征或属性的数据族。最后形成数据关联。结合 IP 关系、时序关系、交互特征等进行数据关联，形成基础的数据关系网络图谱。

    模型设计就是构建一套大数据计算和分析的规则，形成一个具体的数据分析模型。根据模型将海量安全数据中看似毫无联系、混乱无序的安全日志、报警数据等转化成直观的可视化信息，从而实现威胁发现、精准预警和态势感知的目的。

    常见的模型有三种：攻击树推理模型、算法挖掘模型、数值统计模型。

    在当前业界常见的渗透场景里，渗透行为包括社工、刷库、爆破、钓鱼、网络扫描、漏洞扫描、漏洞挖掘等，根据这些行为的特征，设计出多种模型。

    常见的渗透场景如图2所示。

    

    在一个常见的攻击模型里，其网络攻击的主要步骤有：

    （1）主机勘察

    （2）漏洞发掘

    （3）目标渗透

    （4）权限提升

    （5）潜伏隐藏

    （6）摄取信息

    （7）跳板攻击

    每个步骤都代表了一个基本攻击行为，这些行为又能拆分成各个细微的子行为，这些基本行为之间也有着先后的顺序关系。以攻击树推理模型为例，要进行目标渗透，一般需要前期的主机勘查和漏洞发掘。

    数据分析就是在算法程序的层面上结合模型设计，对数据进行实时、离线的分析计算，并在这里面发现隐藏的安全风险。数据分析包括在线实时挖掘分析和离线挖掘分析两部分。

    在线实时挖掘分析用来对实时数据进行即时分析。在线实时挖掘分析模块基于Spark框架实现。Spark是使用Scala实现的基于内存计算的大数据开源集群计算环境。提供了Java、Scala、Python、R等语言的调用接口。该框架采用内存计算方式对批量数据进行流处理，具有高效的计算能力和并发处理能力，特别适用于在线分析计算。

    离线挖掘分析主要是对存储在数据仓库中的历史数据进行循环和重复挖掘计算，这是对数据的深度处理和累积利用。离线挖掘分析模块收集所有历史数据，使用ETL技术对其进行处理，并将其存储在数据仓库中。另外，离线挖掘分析模块将最新的安全事件抽象为规则，这些规则用于更新在线实时挖掘分析模块的规则库。

4.  态势感知与预警业务应用

    态势感知与预警业务应用包括下面4个方面的功能 ：

    （1）网络安全威胁报警

    利用大数据分析结果，实现对木马传播、信息盗取、权限获取、仿冒钓鱼等网络攻击活动的即时报警。

    （2）重要安全系统的实时监测

    对国有企业、企事业单位、党政机关的网站，重要信息系统对其进行实时监测，发现APT攻击、拒绝服务攻击、网页篡改、信息盗取等网络安全威胁和恶意破坏事件。

    （3）网络风险预警及感知

    提供网络安全威胁与攻击活动、境外/ 内攻击事件、安全隐患与漏洞等的网络安全态势的展示和输出，及时了解和掌控不同安全的要素决定网络安全走势以及影响范围。

    （4）态势展示

    通过统一的响应式前端界面，基于d3.js、echats.js等多种可视化脚本库进行安全态势的全景展示。

四、项目实施

    AiLPHA大数据智能安全平台是以安恒首席科学家刘博为核心的研发团队创新智造的安全产品，旨在解决传统安全设备无法应对越来越复杂和隐蔽的安全威胁。AiLPHA以“AI驱动安全”为核心理念，集成超大规模存查、大数据实时智能分析、用户行为（UEBA）分析、多维态势安全视图、企业安全联动闭环等安全模块。具备全网流量处理、异构日志集成、核心数据安全分析、办公应用安全威胁挖掘等前沿大数据智能安全威胁挖掘分析与预警管控能力。为企业客户提供全局态势感知和业务不间断稳定运行安全保障。致力于让安全更智能，更简单。  图4为安恒AiLPHA大数据智能安全平台模块图景。

五、附录

[1] 孙艳玲.大数据背景下计算机网络信息安全问题探讨[J].网络安全技术与应用,2019(10):75-76.

[2] 姜文军.大数据时代下计算机网络信息安全问题探讨[J]. 网络安全技术与应用,2018(02):69-73

[3] 管磊,胡光俊,王专.基于大数据的网络安全态势感知技术研究[J]. 信息网络安全,2016(09):45-50

[4] 安恒信息.AiLPHA大数据智能安全平台[EB/OL].https://www.dbappsecurity.com.cn/show-56-5-1.html,2019(09)

[5] 杨本毅,基于攻击图的渗透测试方法 [A].云南：电子科技杂志第32卷,2019.10

[6] 陈小兵,范渊,孙立伟,Web渗透技术及实战案例解析 [M].北京：电子工业出版,2012.4

[7] 王文君,李建蒙,Web应用安全威胁与防治 [M].北京：电子工业出版社,2013.1

[8] 吴翰清,白帽子讲Web安全 [M].北京：电子工业出版社,2012.3