记录黑客技术中优秀的内容,传播黑客文化,分享黑客技术精华

大数据环境下安全情报融合体系构建

2020-05-12 10:06


情报分析师

全国警务人员和情报人员都在关注

关注

    要:                
[目的/意义]安全情报融合是发掘安全情报价值的重要手段,是实现大数据环境下多源安全情报获取和整合的必要途径。因此,开展大数据环境下安全情报融合研究具有重要理论及现实意义。
[方法/过程]首先,在明确安全情报融合基本内涵的基础上,分析大数据时代的安全情报融合的意义及特点。其次,结合大数据环境下的安全数据资源现状和组织安全管理情报需求,构建大数据环境下安全情报融合的总体系。最后,构建与解析大数据环境下安全情报融合的核心分支体系。
[结果/结论]研究发现,安全情报融合是从多方面、多层次提升安全数据价值密度、挖掘安全数据价值的安全情报分析手段,大数据环境下安全情报融合体系可归纳为5类“融合”,即安全情报需求与安全情报系统的融合、安全情报分析与大数据技术的融合、安全情报分析融合、安全情报应用融合以及人机融合。

1 大数据时代的安全情报融合概述

1.1安全情报融合的内涵

情报融合是对目标原始情报进行校准联合以生成更高层次情报的方法[22],也是情报研究者挖掘数据价值的重要手段之一。安全情报融合是将情报融合的思想、方法及技术应用于安全情报分析的产物。基于以上认识,分析安全情报融合的内涵,具体如下:
1)安全情报融合是一种面向组织安全管理的安全情报分析和处理过程。
安全情报融合以“安全数据→安全信息→安全知识→安全情报”的安全信息链为主线,对组织内外多种类、多方位的安全数据进行逐层筛选、集成、关联、序化和整合,以提取安全数据中的价值成分,最终以新的逻辑形式输出安全情报产品,以帮助安全决策者正确了解系统安全状态及变化规律,为安全执行、安全预测和安全决策提供依据。
2)安全情报融合以组织安全管理的安全情报需求为导向。
一方面,安全情报源数据收集计划基于安全情报需求制定,规定原始安全数据收集的范围和具体目标,从而确定安全情报融合的对象;另一方面,安全情报需求决定安全情报融合的内容。隐患辨识、危险控制及消除、安全资源调配、安全环境优化等各类安全管理实践在安全情报的类型、结构、时效性等方面有着不同要求。安全情报融合基于组织安全管理特性,综合考虑各类安全情报需求,确定安全情报融合具体方法、内容及目标。
3)安全情报融合的最终目的是为组织安全管理提供安全情报,而安全情报的产生需要安全情报工作者利用已有的安全知识或经验,在大量的安全信息中提取安全情报。
为此,安全情报融合需基于人们的安全认知规律,对安全数据进行实时的归一化、有效化、情境化处理以实现安全数据向安全信息的转化,并基于已有的安全知识或经验,在安全信息中获取安全情报。或是通过安全信息关联分析和安全知识融合,获得新的安全知识,并在不断积累的安全知识与动态安全信息相互融合中获得安全情报。
4)安全情报融合以信息融合技术和方法为手段。
安全情报融合需结合原始安全数据资源的状态和特征,为融合工作设置合理的工作目标并选择科学的融合方法。传统的信息融合技术和新兴的综合性信息融合技术都可用于实现安全情报融合,如信号处理和估计理论方法、统计推断方法、决策论方法、几何方法及人工智能方法[23]等。

综上所述,安全情报融合是以获得安全情报产品为目标,以组织安全管理的安全情报需求为导向,以安全信息链为主线,以多源信息融合技术及方法为手段,对原始安全数据进行安全数据清洗、安全信息关联、安全知识融合与安全情报整合的多层次安全情报处理和分析过程。


1.2大数据环境下的安全情报融合意义及特点

快速准确地清洗和整合安全大数据资源,挖掘价值成分并获得安全情报是大数据环境下安全情报融合的核心任务,也是其意义所在。大数据环境下的安全情报融合的意义和特点,可从组织的安全情报资源状态、安全情报需求两方面综合把握。

安全大数据分析理念强调全样本数据分析[24],主张使用全源安全数据把握安全问题的大致脉络和发展趋势。但安全组织往往结构复杂,其内含的人力、物力、财力等各种资源相互交叉且关系分散[6],导致目前的安全大数据资源呈跨领域、多结构、碎片式分布。同时,全样本数据分析意味着数据容错水平的提高,所收集的原始安全数据中存在着大量的噪音和干扰数据,很难直接用于安全管理。安全大数据应用热潮带来的质量粗糙的安全情报资源亟须安全情报融合予以清洗、整合,以消除原始安全数据中的无关数据并将多源异构安全数据纳入统一的分析框架中,为安全情报分析提供安全数据基础。

大数据环境下的安全管理,需要范围全面、逻辑清晰、意义明确、时效显著的安全情报。安全情报融合利用不同渠道、多种采集方式、多个传感器获取安全数据,充分扩展了安全情报来源的时间范围和空间范围。尤其是多传感器获取的联合安全数据,能够有效降低安全数据的模糊性,提高安全数据的可信度和空间分辨率[25]。通过安全信息和安全知识间关联分析,能更全面地挖掘安全系统内各要素之间关系、明确安全状态变化趋势,并有利于生成安全知识关联网络,保证了安全情报的时效性,从而为安全管理提供有力的安全情报支持。


2 大数据环境下安全情报融合的总体系


大数据背景下的安全情报融合,需立足于组织安全管理的安全情报需求及安全情报资源现状,综合运用安全科学技术、情报融合技术以及大数据分析技术,逐步将低阶安全数据提升为高阶安全情报。基于现有的安全情报系统结构[2],构建大数据背景下的安全情报融合总体系,其模型如图1所示。
图1  大数据环境下的安全情报融合总体系  

从安全情报融合实现角度出发,可用5类“融合”描述该体系,具体分析如下:
1)组织安全管理的安全情报需求与安全情报系统的融合,体现为以下三方面:
①安全情报采集融合系遵循安全情报源数据收集计划,开展安全情报源确定、安全情报源数据收集、安全情报源数据预处理工作,而该计划基于安全情报需求及现实条件制定。
②安全情报应用成效通过逐级反馈,最终报告给安全情报用户(组织成员或安全管理机构),后者进行成效综合评估并联合新安全情报需求进行反馈,促使安全情报工作者优化安全情报过程融合流程及方法。
③安全情报具体应用过程中,因组织安全状态及安全环境实时动态变化,安全情报成果体系难以涵盖所有实时安全情报。各级应用的实时安全情报需求可通过动态反馈,由安全情报分析融合体系提供实时的安全情报服务。例如,危机防控人员可随时报告对于危机数据的安全情报需求,并获得危机状态变化的实时安全数据以及时采取危机防控措施;应急管理人员可随时获得当前事件的最新安全数据,以迅速启动应急响应、实施应急救援行动。

2)安全情报分析与大数据技术的融合。
具体包括:大数据环境支持安全情报源的全覆盖网络建设,有利于扩大安全情报源数据收集规模,消除安全数据盲区;大数据采集技术成为收集安全情报源数据的重要工具,其他领域的大数据应用成果在采集技术选择上,为安全情报源数据收集提供丰富而宝贵的历史经验;大数据存储管理技术成为安全数据库建设及管理的重要工具;大数据处理技术为安全数据清洗、集成、归约等提供解决途径;大数据分析技术为安全信息生成,即为安全数据添加情境解释和关联分析等提供技术平台。

3)安全信息链下的多层次安全情报分析融合。
具体包括:通过安全数据清洗、集成、整合,消除安全情报源数据中的相斥数据、冗余数据、异构数据等,并将安全数据纳入统一分析框架,实现安全数据融合;协同利用多来源、多形式的安全数据,获得对同一目标安全状态的全面、客观的情境化表达,实现安全信息融合;基于已有的安全知识、安全经验等,对安全信息进行综合、对比、关联分析等,在安全信息与安全知识的融合中发现安全情报和新的安全知识,实现安全知识融合;整合安全情报片段并进行关联、序化,生成安全情报成果体系,实现安全情报融合。

4)安全情报与安全管理的融合。
该类融合主要体现为安全情报应用融合体系内容,是安全情报产品应用的具体实现,最主要为安全情报在常态安全管理、应急管理(非常态安全管理)中的应用。安全情报应用融合系统将安全情报产品以专题安全报告、安全风险分析、组织内部安全状态报告等形式[2]向安全情报用户(组织成员或安全管理机构)汇报,安全情报用户依据安全情报掌握组织安全状态和发展趋势,实施安全决策和安全管理行为。安全情报用户对可接受风险采取常态安全管理措施,即依据安全预测结果(安全决策情报)采取安全决策,并依据安全决策结果(安全执行情报)进行安全执行,以减少、消除或控制组织安全风险,维持并改善组织安全状态。安全情报用户对不可接受风险及事故采取应急管理措施,即依据安全预测结果(危机情报)进行安全预警和危机防控,对不可接受风险进行规避或强制消除。若危机防控失败或事故已发生(应急情报),则启动事故应急响应程序,进入事故应急处理阶段。

5)人类智慧与机器计算(安全情报融合)的融合。
一方面,人们已有的安全知识和智慧,是从安全信息中发现安全情报、生成新安全知识的必要条件。通过建立安全知识库,为安全信息向安全情报转化提供安全知识基础。而安全知识库的建立,需要多位安全专家或学者的安全知识、安全管理人员丰富的安全经验以及从公开安全科学研究成果、组织内部安全研究报告等处获得的安全知识。另一方面,安全情报用户利用机器计算(安全情报融合)结果,即安全情报,对组织安全状态进行安全认知、安全预测和安全判断,是安全管理措施的决策者和安全管理行为的实施者。可以说,安全情报用户对安全情报的认知和使用,是体现安全情报功能价值的唯一途径。


3大数据环境下安全情报融合的核心分支体系

安全情报生成是安全情报融合的根本目的。安全情报采集融合体系、安全情报分析融合体系以及安全情报应用融合体系共同完成安全情报“生产”工作,构成了安全情报融合总体系的主体躯干,是安全情报融合总体系的核心分支。下面,分别对上述三个体系进行模型构建,并具体阐述其内容及功能。


3.1安全情报采集融合体系

安全情报源数据采集体系是安全情报融合的安全数据输入端。该体系依据组织安全管理的安全情报需求,按照安全情报源数据采集计划,确定安全情报源并收集安全情报源数据。大数据环境下的安全情报源数据的采集范围和采集速度直接决定了安全情报融合结果的质量和效能。因此,安全情报源数据采集体系是安全情报融合总体系的基础,对于安全情报融合至关重要。构建大数据环境下的安全情报采集融合系统模型,如图2所示。
图2   大数据环境下的安全情报采集融合体系模型

大数据环境下的安全情报采集融合体系的内容主要分为四方面:①依据安全情报源数据采集计划,确定安全情报源。一般包括组织内安全情报源(如安全管理数据、安全制度文件、专题安全报告等)和组织外安全情报源(如国内外文献资料库、各类Web网站、国家或行业的安全标准数据库等);②开展大数据环境下的组织内数据共享、业务协同等工作,创造良好的安全大数据资源环境,为安全情报源数据采集提供环境支持;③选择并掌握合适的数据采集技术,按照计划要求准确快速地完成原始安全数据采集工作;④对收集到的原始安全数据进行数据解密、校验和登记处理,经数据总线临时储存于安全数据库中,并按照安全数据来源使用HDFS进行在线储存或离线储存进行备份,获得初步分类的全样本原始安全数据,为后续安全情报内在融合的具体工作奠定基础。


3.2安全情报分析融合体系

安全情报分析融合体系是安全情报融合总体系的核心,是安全情报的“生产车间”。大数据环境下的安全情报分析融合,基于人们已有的安全知识和经验并结合大数据处理与分析技术,按照安全数据级融合、安全信息级融合、安全知识级融合、安全情报级融合的顺序,逐步实现多源安全数据向安全情报的转化。构建大数据环境下的分析融合体系模型,如图3所示。

图3  大数据环境下的安全情报分析融合体系模型

大数据环境下的安全情报分析融合是一种多层次、多方位的处理过程,其主要内容及功能包括:
①提高安全数据质量,赋予安全数据价值。为此,需对多源安全数据进行数据归约,适当消除与安全情报需求无相关或弱相关的数据类别,并基于安全数据清洗规则,完成安全数据清洗和序化;
②赋予安全数据意义,实现实时安全信息服务。为此,需首先基于安全术语标准,对安全数据集的名称和已有描述进行归一化处理,尔后通过情境化加工、语义添加和语义关联,完成安全数据向安全信息的转化并实现安全信息关联,最后通过可视化技术等,实现动态安全信息展示;
③生成安全情报,发现新的安全知识。将各类安全信息的语义描述、数值演化模型等作为特征,融合安全知识实现安全威胁确定、安全状态评估及安全趋势预测(即获得安全情报片段),以及通过安全信息与安全知识间的关系推理发现新安全现象或安全规律[26],用以扩充安全知识库;
④联合安全情报片段,生成安全情报成果体系。对安全情报片段进行归类、整合,以专题安全报告、安全态势分析等形式向安全情报应用输出安全情报产品,以满足综合安全情报需求。

在具体实施过程中,安全情报分析融合依据安全管理实践的内容及特点,有针对性地支持安全情报应用。主要体现在:
①安全情报分析融合依据安全管理实践的时效性,合理选择分析融合的程度。例如,在紧急的应急救援过程中,当前事件的发生地点、事件类别、受灾人数、救援物资储存地点及数量等安全数据可能只需要简单的安全数据清洗整合就能够成为重要的安全情报,满足安全救援人员的紧急需求。而对于安全教育管理、安全制度管理等强调综合性和长期安全效益的安全管理实践,则需要充分利用安全知识,实现安全知识及安全情报层面的融合。
②安全情报分析融合基于安全管理实践要求,确定分析融合目标及内容。
例如,为支持安全风险管理,安全情报分析融合结果应当包括安全风险识别情报、安全风险度量情报以及安全风险评价情报等。
③安全情报分析融合基于安全管理实践内容,确定安全知识融合对象。
例如,可选择危化品危险源辨识标准、危化品的已知危险特性等作为安全知识,与生产企业的危化品类别、种类数、储存数量等安全信息进行对比和计算,实现生产企业危化品危险源辨识与分级。


3.3 安全情报应用融合体系

安全情报应用融合是实现安全情报价值和效能的重要阶段。安全情报应用融合体系的主要职能是依据组织安全管理机构或组织其他成员的安全情报需求,将安全情报产品动态地提供给相应的安全情报用户。同时,该体系并不局限于安全情报产品体系(包括风险评价报告、专题安全报告、安全态势分析等的一系列综合性安全情报成果)的应用融合,还依据危机防控、应急处理、风险管理等高度重视信息时效性的安全实践的安全情报需求,高效、快速地提供实时的安全情报片段,将安全情报成果融合于安全实践全过程。构建大数据环境下的安全情报应用融合体系框架如图4所示。
图4  大数据环境下的安全情报应用融合体系框架

安全情报应用融合体系的内容具体包括:
①安全情报产品体系与组织安全管理实践的融合,主要体现在安全情报产品在综合性、长期性的安全管理实践中的应用。
②安全情报产品体系与组织其他机构工作的融合,即为组织其他机构提供安全情报,帮助其准确了解组织安全状态,以促进组织安全环境优化、提高安全管理效率。
③安全情报片段与组织安全管理实践的融合,通常是利用与危险源、隐患、风险具有强相关的实时性安全情报片段,帮助组织安全管理机构对危机快速响应并采取防控措施。
④实时性安全情报片段用于提高一线安全管理人员工作效率,帮助其快速识别安全威胁、了解风险发展趋势,及时地采取安全措施;
⑤实时性安全情报片段用于提高其他组织成员的安全意识,帮助其了解组织风险和安全威胁,积极地进行安全规避和个人安全防护并配合安全管理工作。


4结束语


安全情报分析是安全数据价值得以实现的最重要环节,而安全情报融合是萃取安全数据价值的重要手段。本文面向组织安全管理,分析安全情报融合具体内涵,并从大数据环境下的安全数据资源环境现状和安全管理的多源情报需求两个方面探讨了大数据环境下的安全情报融合意义及特点。在此基础上,从安全情报融合实现的角度,构建大数据环境下安全情报融合总体系,并对该体系中的核心分支体系,即实现安全情报生成的三个体系分别进行体系建模与具体阐述。需要说明的是,本文旨在从理论层面实现组织安全管理中的安全情报融合,并构建其总体功能模型,以期为进行组织安全管理中的安全情报融合提供理论指导。因此,该研究还需进一步细化,需结合各类组织安全管理实践的模式及特点,从应用层面探讨各类组织安全管理实践中安全情报融合的具体应用。此外,如何应用某类信息融合方法实现组织安全管理中安全情报融合、如何将大数据分析技术与安全情报融合进行具体结合也是我们将要考虑和研究的问题。


参考文献及英文摘要略


(本文转自:黄玺,王秉,吴超.大数据环境下安全情报融合体系构建[J/OL].情报理论与实践:1-9[2020-05-11].



本期编辑:糖

本文转载,如有侵权,请联系管理员删除




普及情报思维 传播情报文化

长 按 关 注


投稿邮箱

550419913@qq.com






知识来源: https://mp.weixin.qq.com/s/bjqv8zlSEl7waKHxBNIwyA

阅读:24436 | 评论:0 | 标签:大数据

想收藏或者和大家分享这篇好文章→复制链接地址

“大数据环境下安全情报融合体系构建”共有0条留言

发表评论

姓名:

邮箱:

网址:

验证码:

ADS

标签云

本页关键词