记录黑客技术中优秀的内容, 传播黑客文化,分享黑客技术精华

爬虫利器——火车采集器

阅读: 35还在自己写爬虫吗?省省力吧!今天介绍一款爬虫利器——火车采集器。它是一款互联网数据抓取、处理、分析和挖掘软件。可以灵活迅速地抓取网页上的信息,并通过内置处理功能,准确抓取出所需数据。项目背景:支持某项目对互联网提供的大量的具有特征信息的内容进行爬取,并对信息进行分析研究。收集提供了220左右个网站的网址,每个网址按照16个关键字进行信息检索和信息爬取。第一步那就是要爬取信息了,自己写爬虫?还是别了吧,有个工具叫火车采集器(原来叫火车头采集器)在这个前提下能满足我们需求了哦,下面就简单介绍下如何使用,方便后来的同学有类似需求提供一个解决问题的工具。文章目录火车采集器的采集流程1. 创建分组和任务 2. 设置采集源3. 设置采集地址4. 设置采集内容规则5. 发布内容设置6. 任务运行火车采集器的采集流
发布时间:2018-06-13 15:05 | 阅读:24009 | 评论:0 | 标签:安全分享 火车采集器 爬虫

开源流量分析系统 Apache Spot 概述

阅读: 101Apache Spot 是一个基于网络流量和数据包分析,通过独特的机器学习方法,发现潜在安全威胁和未知网络攻击能力的开源方案。Apache Spot 利用开源且被优化过的解码器接入二进制网络流量数据和数据包,利用机器学习的方法(主要是LDA 算法)从网络流量中分离出可疑流量,以及特征化独特的网络流量行为。经过上下文增强、噪声过滤、白名单和启发式算法等等一系列手段,最终产生少量且准确的安全威胁事件呈现给用户。文章目录1. Apache Spot 是什么?2. Apache Spot 能做什么?3. Apache Spot 是怎么做的?4. Apache Spot 关键特性5. Apache Spot 系统介绍5.1 系统架构5.2组件视图5.3数据流视图5.4 服务视图6. Apache Spot
发布时间:2018-06-08 15:05 | 阅读:34919 | 评论:0 | 标签:安全分享 Apache Spot 流量分析 流量分析工具 网络流量分析

发包开源工具TRex在IPS测试中的应用

阅读: 31对于网络设备而言,一款好的发包工具至关重要,而目前像IXIA, Sprient等仪表厂商的发包仪表虽然好用,但是价格昂贵,那么是否有一款在功能和性能上能与仪表相当,却又是开源的工具呢,思科的TRex的给出了答案。目前,路由器厂商测试用的都是商业的仪表,一般的性能衡量都是以PPS作为标准,而路由器很复杂,牵扯到7层的应用,而且希望能够提供一种更加真实的流场景测试,TRex应运而生,TRex是一款开源的发包工具,它跑在标准的intel处理芯片上,同时支持stateful和stateless模式,stateful可以描述L4~L7层的应用场景,而stateless主要用来进行定制包的发包。文章目录TRex特性TRex运行TRex-stateful介绍stateful操作几部曲(以dns为例)TRex-st
发布时间:2018-06-06 15:05 | 阅读:25769 | 评论:0 | 标签:安全分享 trex 发包 测试

【安全测试】性能测试进阶(Part4-并发测试的方法2)

阅读: 21上篇文章中,我们介绍了并发测试的方法1:用新建来测试并发。今天继续介绍方法2:用并发的方式来测试并发,边建立边拆除。相关阅读:【安全测试】性能测试进阶(Part1-基本概念)【安全测试】性能测试进阶(Part2-新建测试的方法)【安全测试】性能测试进阶(Part3-并发测试的方法1)首先我们来回顾一下并发测试的四种方法文章目录并发测试的方法并发测试方法2:用并发的方式来测试并发,边拆边建立测试场景(该方法适合于测试最好值)要点测试用例3:验证系统是否可以达到100w的并发测试用例4:测试系统可以达到多大的并发并发测试的方法并发有4种测试方法。主要的差异点就是在并发测试的时候,是否会有连接的拆除。简单总结如下:方法1:用新建来测试并发——只有在拆除阶段的时候,会有连接的拆除。方法2:用并发的方式来测试
发布时间:2018-05-31 15:05 | 阅读:30059 | 评论:0 | 标签:安全分享 性能测试 测试

【安全测试】性能测试进阶(Part5-并发测试的方法3)

阅读: 14上两篇文章中,我们介绍了并发测试的方法1和方法2:【安全测试】性能测试进阶(Part3-并发测试的方法1)【安全测试】性能测试进阶(Part4-并发测试的方法2)这篇文章我们介绍并发测试方法3:用并发的方式来测试并发,只建立不拆除——测试至始至终都不拆除相关阅读:【安全测试】性能测试进阶(Part1-基本概念)【安全测试】性能测试进阶(Part2-新建测试的方法)首先我们来回顾一下并发测试的四种方法文章目录并发测试的方法方法3:用并发的方式来测试并发,从一开始就边建边拆测试场景(可以把新建和并发关联起来测试,找到两者的平衡点)测试思路测试用例5:测试在并发100w情况下,系统最大的新建能够达到多少方法4:用并发的方式来测试并发,只建立不拆除并发测试的方法并发有4种测试方法。主要的差异点就是在并发测试
发布时间:2018-05-31 15:05 | 阅读:23409 | 评论:0 | 标签:安全分享 性能测试 测试

【数据安全】GDPR正式生效 企业如何建设隐私数据安全防护?

阅读: 36隐私保护一直都是信息安全领域的一个内容。随着《一般数据保护条例》(General Data Protection Regulation,以下简称GDPR)的正式实施,隐私保护与伴随而来的数据安全成为了企业必须面对的课题。本文针对隐私保护和数据安全方面的内容,展现一个相对全面,客观的视角,帮助企业更深入的了解和理解当下隐私保护和数据安全的前沿态势,以及如何落地该法案。隐私保护一直都是信息安全领域的一个内容,随着欧盟委员会于2016年4月14日投票通过了商讨四年之久的《一般数据保护条例》(General Data Protection Regulation,以下简称GDPR),隐私保护与伴随而来的数据安全在近2年成为了历次国际性安全会议中不可或缺的议题,在2018年4月的RSA2018会议中也有多个会议
发布时间:2018-05-28 15:05 | 阅读:40456 | 评论:0 | 标签:安全分享 GDPR 一般数据保护条例 保护个人隐私 数据安全 隐私保护

【安全测试】性能测试进阶(Part1-基本概念)

阅读: 31本系列文章对性能测试中容易混淆的概念,方法进行总结。作为性能测试进阶版本,本文假设使用者已经会使用各种仪表,不会对基本配置进行描述。相关阅读:【安全测试】性能测试进阶(Part2-新建测试的方法)【安全测试】性能测试进阶(Part3-并发测试的方法)文章目录基本概念HTTP Test ScenarioConections和simusers的区别和联系Latency和think time的差别Piggback Get Request是什么意思User based 和global profile是什么意思Avalanche上如何抓包Avalanche client端如何判定是否为successful如何确认测试结果Avalanche上如何根据报告来分析问题基本概念HTTP Test Scenario对下
发布时间:2018-05-25 15:05 | 阅读:23965 | 评论:0 | 标签:安全分享 性能测试 测试

【安全测试】性能测试进阶(Part2-新建测试的方法)

阅读: 14本系列文章对性能测试中容易混淆的概念,方法进行总结。作为性能测试进阶版本,本文假设使用者已经会使用各种仪表,不会对基本配置进行描述。相关阅读:【安全测试】性能测试进阶(Part1-基本概念)【安全测试】性能测试进阶(Part3-并发测试的方文章目录新建测试的方法要点测试用例1:如何测试系统的最大新建第一轮测试第二轮测试扩展说明新建测试的方法要点单位可以使用connections/sec,simusers/sec在希望可以测试出理论上的最大新建的时候,不能配置think time或者是latency测试用例1:如何测试系统的最大新建测试系统最大新建, 一般会测试两轮或多轮。第一轮测试第一轮的测试目的是找到一个性能的“预定值”:根据系统的CPU的性能来估计新建的最大值(可以找开发、SE帮忙,参考友商参数
发布时间:2018-05-25 15:05 | 阅读:21035 | 评论:0 | 标签:安全分享 性能测试 测试

【安全测试】性能测试进阶(Part3-并发测试的方法)

阅读: 13本系列文章对性能测试中容易混淆的概念,方法进行总结。作为性能测试进阶版本,本文假设使用者已经会使用各种仪表,不会对基本配置进行描述。相关阅读:【安全测试】性能测试进阶(Part1-基本概念)【安全测试】性能测试进阶(Part2-新建测试的方法)文章目录并发测试的方法方法1:用新建来测试并发测试用例2:验证系统能否在新建为3000的情况下,达到并发为100w补充说明并发测试的方法并发有4种测试方法。主要的差异点就是在并发测试的时候,是否会有连接的拆除。简单总结如下:方法1:用新建来测试并发——只有在拆除阶段的时候,会有连接的拆除。方法2:用并发的方式来测试并发,边建立边拆除——在达到期望的并发值后,开始有连接的拆除和新建。方法3:用并发的方式来测试并发,从一开始就边建立边拆除——在达到期望并发值的过程
发布时间:2018-05-25 15:05 | 阅读:19610 | 评论:0 | 标签:安全分享 性能测试 测试

Xpath定位经验总结

阅读: 21在使用自动化测试工具RobotFramework编写web界面操作用例时,我们用到最多的就是click element、input text等,这些关键字的参数都是locator,一般使用”xpath=”的形式来表述,先为大家介绍xpath定位的几种方式及使用中常见问题处理的方法。文章目录方式一:绝对路径定位法方式二:属性定位法方式三:属性加相对路径法方式四:属性模糊定位法方式五:各种组合定位法方式一:绝对路径定位法最简单的获取方式就是,界面处打开F12,左上角选择箭头图标并选中要操作的对象,右键复制xpath,这种方式获取到的xpath是绝对路径形式,如下格式:xpath=/html/div[1]/input/,”/”表示节点路径。但是不建议用这种方式,因为产品的界面是跟随项目的进展一直在变化的,
发布时间:2018-05-24 15:05 | 阅读:20038 | 评论:0 | 标签:安全分享 xpath xpath定位

勒索软件——JS邮件恶意脚本分析

阅读: 31在互联网发展越来越壮大的同时,网络安全也面临着各种挑战与机遇。在过去数年,基于脚本的恶意软件的大幅增加让企业、用户等面临着更多勒索软件的威胁。众所周知,勒索病毒等新型恶性病毒,常通过邮件来传播。“邮件欺诈——病毒下载器——恶性病毒”是目前最常见的传播方式。“脚本类”下载者病毒(TrojanDownloader)呈现激增的趋势。病毒制作者经常将这两种病毒作为邮件附件并将其赋以诱惑性的文字发送给受害者。其运行后会下载勒索病毒等高危病毒,使用户造成严重的经济损失。文章目录JavaScript传播方式JavaScript恶意脚本形式1.随机变量名及函数名。2.添加垃圾代码。3.等效替换。4.利用自定义算法加密原始代码数据。计算机感染机制总结JavaScript传播方式用户在访问恶意网站或恶意电子邮件附件时可
发布时间:2018-05-22 20:05 | 阅读:46916 | 评论:0 | 标签:安全分享 javascript 勒索软件 勒索邮件 恶意脚本 恶意邮件

PDF中的Javascript利用

阅读: 24Pdf文件是应用广泛的一种文件格式,发展至今已经到了2.0版本,其功能也得到了不断丰富,很多鲜为人知的功能可能会被利用实施恶意行为。本文将简单介绍在pdf文件中嵌入Javasript脚本的利用方式。文章目录一、PDF中的Javascript利用二、pdf中的Javascript规范1、文件夹级脚本2、文档级脚本3、页面级脚本4、域级脚本三、潜在可利用内容1、app.launchURL()函数功能为访问远程url。2、app.media.getURLdata()函数功能为打开url指定的多媒体文件。3、app.alert()函数功能为弹出一个警示对话框。4、app.execDialog()函数的功能为创建一个对话框。5、doc.getURL函数功能为通过GET方法获取URL指向文件。参考链接:一、PD
发布时间:2018-05-22 15:05 | 阅读:32167 | 评论:0 | 标签:安全分享 pdf JavaScript pdf 漏洞 pdf攻击

路由器漏洞分析入门:D-Link Service.Cgi远程命令执行漏洞

阅读: 69在正在到来的物联网时代,路由器是一个家庭里面的核心,连接着各种智能设备,路由器会被更多的黑客盯上,用于发动DDos,传播木马、病毒、挖矿软件等。本文以D-Link路由器的一个远程命令执行漏洞为例带你入门路由器漏洞分析。文章目录一、环境二、环境启动三、漏洞分析四、漏洞利用五、参考链接一、环境1. attifyOS:智能设备固件分析环境(下载:https://github.com/adi0x90/attifyos )2. 固件二进制文件DIR-645_FIRMWARE_1.03.ZIP (下载:ftp://ftp2.dlink.com/PRODUCTS/DIR-645/REVA/DIR-645_FIRMWARE_1.03.ZIP )二、环境启动1. 运行fat.py2. 输入你下载的zip的路径,在输入
发布时间:2018-05-16 15:05 | 阅读:62607 | 评论:0 | 标签:安全分享 路由器 路由器漏洞 远程命令执行漏洞 漏洞

PXE引导启动拷机测试镜像

阅读: 10PXE是Inter公司开发的最新技术,基于C/S模式,可以实现主机通过网络从远程服务器下载系统映像,并由此支持通过网络启动操作系统。具体的工作流程如下:将要安装的设备设置成PXE引导方式,启动后设备会向同一二层交换机下的DHCP服务器请求一个IP用作网络连接,再用TFTP协议请求下载软件启动包到本机内存执行,这个启动包可以被用来引导和安装服务器中的终端操作系统。文章目录1.   PXE服务器的搭建1.1 环境搭建1.2   配置环境时遇到的坑2.   验证1.   PXE服务器的搭建1.1 环境搭建每台设备出厂时,生产中心都会对设备做严格的测试,比如平台测试,拷机测试。测试时需要使用系统架构部提供的测试镜像来完成,整个测试流程是自动化的。当对大批量的设备做测试时,PXE服务可以帮助测试人员减少重复劳
发布时间:2018-05-15 20:05 | 阅读:40415 | 评论:0 | 标签:安全分享 pxe

Server在kvm上的性能优化

阅读: 6Server在kvm上的性能提升,主要是分为两方面,一方面保证执行环境干净,不会被干扰;二是保证kvm虚拟中的模拟设备性能最优。下面主要是围绕这两个方面做一些优化。保证程序运行环境的干净,这里主要是保证server运行环境干净:1 kvm使用的cpu从宿主机系统调度中隔离。不然宿主机上的别的经常会占用分给kvm的cpu配置方法:grub.cfg中linux16打头的行添加isolcpus=4,5,6,74,5,6,7表示要隔离的cpu号,根据kvm使用的情况,隔离cpu查看配置结果: 2 kvm和宿主cpu需要一一绑定,避免guest的cpu在物理cpu之间进行调度配置方法:修改kvm的xml配置文件<vcpu placement=’static’ cpuset
发布时间:2018-05-15 15:05 | 阅读:38246 | 评论:0 | 标签:安全分享 KVM 服务器优化

用docker+elastic打造属于自己的网络探针

阅读: 1网络探针,就是一个用于捕获、分析网络数据包的组件。目前有一些捕获、分析网络数据包的开源组件,比如Yaf、bro、packetbeat等,但是这些组件的核心在于流量的采集,而流量日志的存储、界面展示则没有。所以我们会希望拥有自己的网络探针,捕获、分析数据包,并以界面的形式展示查询。这篇文章告诉你如何用docker打造你专属的网络探针。一个完全使用开源组件的解决方案是,使用packetbeat来监听网络流量,而将流量日志存储在elasticsearch中,使用kibana读取elasticsearch中的日志并以日志检索、统计图表等形式提供界面查询。但是在每一个不同的环境上部署网络探针时,都需要重新把所有组件下载一遍配置一遍,实在是很繁琐。那么可不可以利用docker容器技术,将配置好的环境生成镜像,以后
发布时间:2018-05-10 15:05 | 阅读:40241 | 评论:0 | 标签:安全分享 流量分析 网络探针 网络流量分析

公告

关注公众号hackdig,学习最新黑客技术

推广

工具

标签云