记录黑客技术中优秀的内容, 传播黑客文化,分享黑客技术精华

利用机器学习突破基于文本的CAPTCHA验证码程序

概述我想大家之前都有过下面这样的想法。当你看到一个简单的图片验证码时,你会想,或许我可以攻破这个验证码。这个验证码可能是个带有简单的倾斜文字的图片,并且在图片上会有几条横线或者图片上的文字会左右晃动。你没时间使用OCR来突破验证码,但你有一种强烈的感觉,那就是通过现代的一些高级技术可以轻易的绕过这种验证码。 文本将阐述如何使用最少的预处理技术和标准的预先训练的OCR模型来轻松的突破下面这种图片验证码。 CAPTCHA(全自动区分计算机和人类的图灵测试)是一个挑战-响应问题。如果正确实现验证码程序,那么这个问题将只能由人类解决。CAPTCHA自2003年被开发出来后,其使用量一直在稳步增长。它们主要用
发布时间:2019-02-22 12:20 | 阅读:54096 | 评论:0 | 标签:技术 机器学习

如何解决机器学习和安全运营之间的不匹配问题

作者:阿里安全钱盾反诈实验室  刘翔宇、染青阿里安全钱盾反诈实验室高级算法工程师刘翔宇在北京举行的2018 HITB安全峰会演讲随着机器学习取得了一个又一个的技术突破,越来越多的公司开始将机器学习应用于实际的安全解决方案中,比如异常检测、入侵行为检测、风险管理等。但是,这些工作主要侧重在提出新的算法或发现新的应用场景方面,忽略了机器学习的输出结果和安全运营成本之间的分歧。例如,将 1 亿个测试用例输入误报率仅为 0.1% 的模型中,仍然会产生多达 100,000 个误报。但对于安全运营人员而言,他们每天可能至多能够处理 100 个告警。除此之外,考虑到安全面临的攻击手段众多,若针对每种攻击手段单独建模,那么告
发布时间:2018-11-06 17:20 | 阅读:66886 | 评论:0 | 标签:技术 机器学习

利用机器学习检测恶意活动

研究人员开始使用无监督机器学习算法来对大量域名信息数据集进行分析,以发现新的威胁并进行拦截。一旦恶意域名开始活跃,机器学习算法就可以快速识别出攻击活动的恶意域名。 背景比如在一类在线的恶意活动中使用了许多个域名,并持续了一段时间。这些活动一般利用像世界杯这类近期的热点事件,域名一般模仿一些合法服务或合法域名,比如c0mpany.com就是模仿合法域名company.com。2017年Equifax数据泄露后,Equifax就搭建了一个网站www.equifaxsecurity2017[.]com来帮助用户确定其是否受影响。然后恶意攻击者就注册了上百个模仿该域名的恶意域名,比如www.equifaxsecuri
发布时间:2018-11-04 12:20 | 阅读:66465 | 评论:0 | 标签:技术 机器学习

流计算在态势感知中的应用

0x00、概述2018年可以说是态势感知产品爆发性增长的一年,站在安全风口上要飞的节奏。从最开始的网络入侵检测系统, SIEM,SOC,到态势感知,产品的形态和功能有质的飞越,但是目前还面临着很多基础性的问题,例如:原始事件产生原子的告警事件,多个原子的告警事件产生一个攻击链威胁这个过程中,伴随着网络和终端的海量数据传输到大数据后台,带来和很大的传输网络的压力,传统的态势感知产品处理方法有些捉襟见肘(秒级处理)。这时候就要引进流处理的概念,在海量数据还没传输到后端之前要尽可能贴近原始日志产生源快速处理产生有价值的事件后(毫秒级处理),再把事件传输到大数据后台做准实时的关联分析(秒/分钟级)。0x01、实现手段1、流计算
发布时间:2018-09-26 12:20 | 阅读:82019 | 评论:0 | 标签:业务安全 技术 AI 态势感知 机器学习

利用ML&AI判定未知恶意程序

0x01、前言在上一篇ML&AI如何在云态势感知产品中落地中介绍了,为什么我们要预测未知恶意程序,传统的安全产品已经无法满足现有的安全态势。那么我们要使用新的技术手段武装我们的安全产品,通过大数据的手段更好的解决未知恶意程序给我们带来的危害。0x02、落地技术架构一、如何检测上篇文章讲了大致的落地方法,本文主要是给大家暴露更多的技术细节。1、IDS Agent还原文件会计算一下MD5hash值与FIleHash缓存系统对比一下,如果有则直接报告为恶意软件,并且附上恶意软件家族分类,如果没有根据聚类算法分成不同的未知分类,不存储该文件,更新缓存,把发生的时间和次数记录一下,为下一步流行度统计使用。2、如果没有这个
发布时间:2018-08-21 12:20 | 阅读:83465 | 评论:0 | 标签:安全工具 技术 人工智能 机器学习

为SOC构建机器学习模型:逆向分析过程(二)

为SOC构建机器学习模型:逆向分析过程(一)讲了逆向分析过程中基本的有监督模型过程、特征提取等,本部分主要讲模型选择和归纳、所选取模型的工作原理、如何使用该模型以及模型的有效性保证。模型选择和归纳特征是从整个数据集中生成完成后,就可以用来训练模型了。没有完美的步骤来选择出最好的模型,但根据数据中特征的类型可以缩小模型选择的范围。在进程事件中,可以将字符串和数字表示的特征结合起来。分析师在进行分析时,会考虑每个特征的数字值,结合答案来估算进程是恶意的可能性。在本用例中,优化可解释的模型是非常重要的。因为有了可解释的模型之后,分析师就能很容易地解释做出某种决策的原因。这样分析师就对模型有了信心,也可以检测和修复模型中的分析
发布时间:2018-06-17 12:20 | 阅读:81473 | 评论:0 | 标签:技术 机器学习

为SOC构建机器学习模型:逆向分析过程(一)

许多的安全事件到最后都被追溯到一个最原始的警告信息,而这些信息一般都会被安全运营中心(Security Operations Center,SOC)和应急响应(Incident Response ,IR)团队漏掉或忽视。虽然大多数的分析人员和SOC都很警觉,但事实是告警消息太多了。如果SOC不能去检查产生的这些告警消息,那么早晚会有一些入侵的消息被漏洞。这里的核心问题是规模的问题。产生告警远比产生分析结果要容易得多,而且与提出解决方案相比,安全行业更擅长生成告警消息。SOC可以通过增加取证任务的自动化、使用聚类过滤器将告警消息分组等方式来管理如此多的告警消息。有一些有效的措施可以帮助减少SOC分析师所必须的行为的数量。
发布时间:2018-06-16 12:20 | 阅读:85621 | 评论:0 | 标签:技术 机器学习

如何通过机器学习技术发现BrowseFox的大规模证书滥用行为

通过采用机器学习算法,能使人们发现BrowseFox存在大量的证书签名滥用行为,这是由趋势科技公司检测到的一个PUA应用程序PUA_BROWSEFOX.SMC。BrowseFox是一款营销广告软件插件,它可以非法注入弹出式广告和折扣优惠。尽管它是合法的软件,但广告软件插件可能会被威胁行为者利用,它会通过破坏广告将受害者引向恶意网站,并在不知不觉中下载恶意软件。在我们的分析中,确定BrowseFox占据了200万个签名文件的大量数据集,并且这些文件的有效性和完整性已经过验证。发现BrowseFox证书滥用问题我们在准备2017年BlackHat亚洲会议演示时发现了证书签名滥用问题,其中我们展示了如何将局部敏感哈希(LSH
发布时间:2018-06-15 12:20 | 阅读:92514 | 评论:0 | 标签:系统安全 机器学习

有关机器学习Malware分类器的那些事

0x00、前言从2015年开始,机器学习预测方法在很多行业都得到了应用,特别是2017年一年,信息安全领域特别是杀毒软件领域,已经出来完全取缔特征码的方式判断恶意软件,进入2018年,Top静态代码杀毒公司已经完全淘汰基于yara方法的多特征静态代码判断恶意软件的方式,完全使用机器学习分类器做为唯一判断依据。目前,比较成熟的商用静态恶意软件检测分类器引擎主要包括:Endgame、Cylance、SentinelOne、Sophos ML、CrowdStrike Falcon,那么它们都使用那些数据研究、使用那些机器学习算法做研究?接下来我们讨论一下。0x01、安全领域分类器受关注程度安全领域的分类可以通过监督的学习模型
发布时间:2018-05-22 12:20 | 阅读:76317 | 评论:0 | 标签:技术 机器学习

数据分析与机器学习如何为业务安全赋能?

阅读: 59目前传统的安全检测、防护类设备针对业务应用安全基本上没有防护效果。数据分析与机器学习为业务安全问题提供了一个有效的解决方案。基于业务的历史数据,通过统计分析与机器学习的方法学习出业务的历史特征,结合专家知识形成业务特征的基线。根据基线来检测业务行为是否存在异常。本文给出了几个通过数据分析和机器学习的方法检测业务系统中异常的具体案例:web业务安全、物联网卡业务安全、变电站业务安全。随着高级持续性威胁(APT)攻击的泛滥以及内部人员威胁的增加,针对企业业务系统的安全威胁日益增多。当前,一般企业的安全检测类产品有操作系统(OS)漏扫、Web漏扫、数据库(DB)漏扫等,但这些设备都不能发现客户自开发应用的安全问题、业务逻辑方面的安全问题。同时,目前部署的入侵检测系统(IDS)等检测类设备由于是基于特征库或
发布时间:2018-05-09 15:05 | 阅读:99076 | 评论:0 | 标签:技术前沿 业务安全 数据分析 机器学习

【RSA2018】如何在威胁建模中利用机器学习和威胁情报

阅读: 47机器学习 和威胁情报在如今“数据驱动”(Data Driven)的时代依然是极为热门的概念,但是具体如何在威胁建模中采用机器学习,如何有效消费泛滥成灾的 威胁情报,在本届RSA大会中,有不少厂商也提出了自己对应的解决方案,包括:利用机器学习进行脆弱性管理预测,以及多源异构情报管理模型。相关阅读:【视频】TechWorld2017热点回顾 | 机器学习在安全攻防的实践【RSA2018】创新沙盒 | Awake Security基于机器学习的安全分析平台文章目录利用机器学习进行脆弱性管理预测三种安全方式机器学习算法选择小结威胁情报泛滥解决方案多源异构的威胁情报难以管理多源异构情报管理模型小结利用机器学习进行脆弱性管理预测Kenna Security公司的首席数据科学家Michael Roytman在他的
发布时间:2018-04-20 15:05 | 阅读:153096 | 评论:0 | 标签:技术前沿 rsa2018 威胁情报 威胁情报管理模型 机器学习 机器学习 算法

【RSA2018】利用人工智能和机器学习优化威胁检测和应急响应

阅读: 30从这几天RSA关于 人工智能AI 的报告分享来看,AI技术已经从之前的理论普及阶段转变成实际场景应用阶段。不少厂商的产品开始享受AI技术所带来的红利,利用AI来提高其产品的威胁检测和决策运维能力,不管是创新沙盒(Innovation SandBox) Top10公司,还是逐渐正式亮相的各大厂商展台,AI已是标配。这篇文章介绍了如何利用人工智能和机器学习优化威胁检测和应急响应,并分享了RSA大会上的AI实际安全场景应用产品,也介绍了绿盟科技利用AI技术的实际案例-全流量威胁分析平台TAM。推荐阅读:【RSA2018】人工智能AI——网络安全的拨云见日,还是新的幻梦银弹【RSA2018】创新沙盒 | BluVector Cortex 基于人工智能的高级威胁检测【视频】TechWorld2017热点回顾
发布时间:2018-04-20 15:05 | 阅读:171947 | 评论:0 | 标签:技术前沿 rsa2018 人工智能 威胁检测 应急响应 机器学习

医疗行业:为什么机器学习不是改善安全的万灵药

医院和其他医疗保健提供商一直是黑客的主要目标。随着提供商越来越依赖信息技术,网络攻击的潜在负面影响在2018年将更加巨大。网络攻击除了造成巨大的经济损失,还往往会切断重要的医疗服务。医院遭到攻击的一个严重后果就是,病历系统有可能宕机或被加密。这种情况一旦发生,医生就不得不退回到手动开具处方,人工交接病历的境地。他们可能看不到患者医疗记录、用药记录、过敏史、测试结果等等重要信息。网络攻击威胁越来越大,攻击的破坏性也逐年上升,医疗保健企业开始寻求能够更好保护自身的新型安全解决方案。虽然很多安全提供商都声称自己的产品集成了机器学习,但太多情况下这都仅限于市场营销手段,他们真正提供的不过是早已面世多年的老一套文件扫描杀毒解决方案的升级版而已。与此同时,精通科技的医疗保健提供商需要的,却不仅仅是改良版的杀软。当前围绕机器
发布时间:2018-01-20 01:25 | 阅读:98444 | 评论:0 | 标签:术有专攻 医疗 机器学习

揭秘 | 为什么一家风控公司要通过网页重要性分析来进行机器学习?

起源 1 我们是谁,为什么要做这些 我们是一家业务风控公司, 公司的一项主要业务是提供给客户私有化部署的风控系统和长期的风控分析服务,最后提供给客户的产出,简单归纳来说就是哪些ip,哪些用户,哪些设备,哪些页面存在风险,并提供确实的证据。因为客户的需求、访问流量、内部架构情况各不相同,前期双方对接中涉及爬虫、订单、营销活动等大量业务信息需要大量的时间投入,接入之后分析师需要大量的时间来观察、分析、跟客户的不断沟通,因为当遇到某些业务细节的时候,沟通的成本就会被放大,才能确认最后完成策略的制定,然后观察效果,如此反复来确定风险IP、风险用户、风险设备和风险页面,即客户所需的业务风险评估。 2 为什么要分析网站结构、网站关键路径?  分析、计算成本的上升 一个最简单的博客,只有博文
发布时间:2018-01-14 17:10 | 阅读:109523 | 评论:0 | 标签:企业安全 机器学习 风险控制

机器学习有用但也没那么神奇 AWS两大基于机器学习的安全服务上线

AWS新服务GuardDuty和Macie,释放了机器学习在保护数据安全上的巨大能量。但您的企业适合采用这两种服务吗?启用基于机器学习的云安全工具,比如AWS新服务GuardDuty和Macie,是AWS客户无需花费脑筋的自然选择。开启这些功能将会提升攻击难度,拦下一大部分攻击者,但无法抵御高端对手。AWS Macie 于今年8月发布,在用户的亚马逊S3存储桶内容上训练,重点检测PCI、HIPAA、GDPR合规问题,发现可疑活动时向客户发出警报。AWS GuardDuty 是11月底发布的一项补充服务,采用机器学习分析 AWS CloudTrail、VPC Flow Logs 及 AWS DNS 日志。与Macie类似,GuardDuty也专注于异常检测,向用户报告可疑活动。从技术角度来说,这简直令人惊艳。横向
发布时间:2017-12-26 16:40 | 阅读:134330 | 评论:0 | 标签:技术产品 AWS 机器学习 自适应

2018网络安全发展趋势小析

又到了回顾过去展望未来的时间,SurfWatch Labs 的首席安全战略官 Adam Meyer 花了很多时间,分析了大量威胁数据,希望能寻求其中的规律并给客户在网络威胁方面更好的准备建议。在这一背景下,他提出了下面5点关于2018年网络安全的预测。1. 2018年,个人与组织应认识到个人标识不该作为认证使用尽管在企业中长时间存在着混淆,区分个人标识和认证信息是很重要的。个人身份标识信息是类似社会安全码、驾照号码甚至地址。认证可以是一个问题,回答正确则认证你是这个人没错。基于知识的认证包括像是什么是你高中的吉祥物、你第一辆车是什么这种问题。或者,是基于信用数据和大量使用的作为廉价认证工具却有高安全性的双因素认证(2FA)。不幸的是,太多企业使用个人标识作为认证方式,大量的如同Equifax的泄露告诉我们在20
发布时间:2017-12-23 03:25 | 阅读:114181 | 评论:0 | 标签:术有专攻 2018 供应链 勒索攻击 安全趋势 数据泄露 机器学习 预测

公告

关注公众号hackdig,学习最新黑客技术

推广

工具

标签云