记录黑客技术中优秀的内容, 传播黑客文化,分享黑客技术精华

ESET报告:机器学习是网络安全的银弹吗?(下)

2017-09-06 06:55

必要的更新

新出现的网络安全供应商批评一些老牌同行依赖于定期更新他们的病毒数据库以及引擎。作为一种替代方案,其中一些传统供应商也提供了一种完全基于机器学习(ML)算法的解决方案,这些算法可以在客户的机器上和安全环境中获取所有数据,从而产生一个“好处”:不需要更新,但这真的是一个优势吗?

在本地部署保护系统的解决方案可以非常有效并相对成功地应对威胁,但这只适用于:

  • 功能非常有限的特定环境;

或者

  • 强烈的无需变更的系统,亦或是部分或完全与外界隔绝的系统。

然而,大多数小型、中型和大型公司的设备终端都工作在不受限的网络环境下,他们需要与承包商、客户和潜在的合作伙伴进行沟通,这需要一个近乎开放的互联网连接。

因此,即使安全算法善于从用户和他的网络中学习,缺乏通过更新其病毒数据库而提供的全局上下文,它也很难正确地识别传入的外部数据是干净的还是恶意的。

这不仅会导致误报率的增加,而且在最坏的情况下会导致“错误”的发生,即将一个恶意软件误认为是一个干净的程序。

基于从数以百万计的节点上的数据,ESET保护系统结合人力监督,提供最近更新的白名单,向系统提供实时更新的最新技术,将可疑的或不熟悉的样本正确的标注出来。这样做还有其他的益处:

  • 降低公司的硬件需求

任何待分析的样本可能已经被全球网络中的其他端点进行了评估,它们不需要重新评估。

  • 构建一个存储在云中的可靠的威胁数据库

通过与所有公认端点的共享,为用户提供更广泛的保护,远远大于数量有限数量的机器学习算法。

  • 更新的解决方案可以覆盖提取方法和样本,机器学习不能独立完成。

ESET机器学习的成果:Augur

尽管机器学习有上述的种种局限性,但我们也看到了这项技术的价值,1998年神经网络就首次出现在我们的产品中,至今我们的专家研究机器学习的时间已经超过20年了。

早期我们的工作之一是为处理大规模的数据而建立的一个自动化的专家系统,2006年的时候,系统的设计还是比较简单的,但却已经能够帮助我们处理越来越多的样本,减少了检测工程师的工作量。多年来我们不断完善它的能力,目前已经能够负责我们每天从全球网络上收集到的海量的样本数据的初步分析和分类工作。这些数据中不仅有来自我们自己传感器和网络上收集到的数据,还包括与其他安全厂商进行交流的数据。

ESET自2012年开始运行了另一个ML项目,把所有分析的样本放在“网络安全地图”上并标记那些需要更多关注的目标。

ESET的ML引擎得以实现的三个主要因素是:

1.随着大数据时代的到来和硬件成本的降低,机器学习变得更实惠了;

2.ML算法的它背后的科学知识的日益普及,导致了更广泛的技术应用和可用性,更多的人愿意去使用和尝试它;

3.经过与黑帽子们的近30年的斗争,我们已经建立了一个现代版的恶意软件的“亚历山大市图书馆”,这个庞大而高度组织的数据库包含了我们过去分析过的所有提取的特征和恶意软件的DNA基因。在此基础上我们精心挑选,把结果作为机器学习(我们称之为占卜师)的训练集。

ML的不断发展,以及其他内部ML项目帮助我们获得了更多的经验,并为我们今天所做的工作铺平了道路:一个成熟的、可以在云端和客户终端使用的机器学习技术的应用程序,我们称之为占卜(Augur)。

然而,上述因素的蓬勃发展也带来了挑战。我们必须选择性能最好的算法和方法,因为并非所有的机器学习都适用于高度规范的网络安全领域。

经过多次测试,我们决定将两种行之有效的方法结合起来:

1.神经网络, LSTM算法。

2.将六种精确选择的分类算法的输出进行综合。

这么描述不够清楚?概括地讲,假设你有一个可疑的可执行文件,Augur首先将效仿其行为并运行基本的特征分析,然后将使用收集到的信息从文件中提取出规则特征,看看它想要运行哪些进程,拼接出上下文特征,以判定它适合哪个类别:干净的、潜在的不受欢迎的或恶意的。

在这一点上,特别强调一下,与那些声称不需要解包、行为分析或仿真的安全厂商不同,我们认为这样做对于发现正确地提取机器学习的数据是至关重要的。否则,当数据被压缩或加密时,就只是试图对噪声进行分类。

Augur的检测机制如下图所示:

结论

建立一个公司网络的网络安全防御系统类似于保护你自己的家,如果你想保持它的安全,你会尽量安装尽可能多的保护层:一道坚固的篱笆、一套安全摄像机、一个非常响亮的警报器和黑暗角落的运动探测器。

同理,在商业环境中,仅仅依靠一种技术是不明智的,即使是基于机器学习算法的产品。

本文中已经讲述了机器学习算法存在的各种局限性,很明显,为了更好的确保用户的安全,结合其他的防护手段是很有必要的。切记,网络罪犯的日常工作就像寻找规避解决方案的各种途径。此外,历史已经一次又一次的在证明,只要投入足够多的努力,任何安全防护功能或系统都可以被绕过。

知识来源: www.mottoin.com/105390.html

阅读:257411 | 评论:0 | 标签:安全报告

想收藏或者和大家分享这篇好文章→复制链接地址

“ESET报告:机器学习是网络安全的银弹吗?(下)”共有0条留言

发表评论

姓名:

邮箱:

网址:

验证码:

公告

关注公众号hackdig,学习最新黑客技术

推广

工具

标签云

本页关键词