记录黑客技术中优秀的内容, 传播黑客文化,分享黑客技术精华

Hadoop架构下的数据库审计难在哪里?

——大数据渗透到各个行业领域,逐渐成为一种生产要素发挥着重要作用,成为未来竞争的制高点。 在大数据时代下,信息和数据的分析处理都会变得比以前更加繁杂,管理起来也更加麻烦。大数据发展仍旧面临着众多问题,最受大众关注的就是安全与隐私问题——大数据在收集、存储和使用的过程中,都面临着一定的安全风险,一旦大数据产生隐私泄露的情况,会对用户的安全性造成严重威胁。 Hadoop是什么? Hadoop是一个开发和运行处理大规模数据的软件平台,是Apache的一个用java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算,是目前市场上最受欢迎的一种大数据解决方案之一。 (Hadoop架构业务及审计逻辑) Hadoop 由许多元素构成,其核心是分布式文件系统(HDFS)和MapReduce 引擎,并涵
发布时间:2018-03-05 18:45 | 阅读:220336 | 评论:0 | 标签:数据安全 Hadoop 大数据安全 数据库审计

Hadoop学习与应用(一)

阅读: 9在大数据火热的今天,hadoop的应用越来越广泛,它是一种分析和处理大数据的软件平台,在计算机集群中实现对大数据的计算。文章目录Hadoop简介Hadoop相关项目Hadoop分布式安装配置远程登录安装jdk安装Hadoop应用Hadoop简介Hadoop是一个开源分布式加算平台框架,基于apache协议发布,由java语言开发。hadoop两大核心组件:HDFS分布式文件系统,为分布式计算提供了数据存储和mapreduce应用程序被分区成许多小部分,而每个部分都能在集群中的任意节点上运行,一句话就是任务的分解和结果的汇总Hadoop相关项目Cassandra 可扩展的多数据库,不存在单点故障Chukwa 数据收集系统,用于监控和分析大型分布式系统的数据HBase 是一个分布式面向列的数据库Hive
发布时间:2017-08-09 19:40 | 阅读:120852 | 评论:0 | 标签:技术前沿 Hadoop hadoop大数据平台架构 hadoop应用 hive What Is Hadoop

玩转大数据——Docker轻松搭建分析环境

阅读: 99在需要搭建平台或配置环境时,按照传统的做法,需要下载相应软件包,然后进行配置,经过大量的操作后还需要进行功能测试,查看是否工作正常。如果不正常,则意味着更多的时间代价和不可控的风险。一旦需要服务器迁移(例如从阿里云迁移到腾讯云),往往需要重新部署和调试。这些琐碎而无趣的“体力活”,极大地降低了工作效率。Docker提供了一种更为聪明的方式,通过容器来打包应用,意味着迁移只需要在新的服务器上启动需要的容器就可以了。这无疑将节约大量的宝贵时间,并降低部署过程出现问题的风险。同理,在搭建数据分析hadoop-spark-zeppelin平台时,同样可以使用docker技术来制作镜像,通过启动容器来启动应用,首先需要修改Hadoop、Spark及Zeppelin的配置文件,然后再制作dockerfile。具
发布时间:2017-06-30 19:10 | 阅读:110760 | 评论:0 | 标签:安全分享 dockerfile Hadoop Spark Zeppelin 大数据 大数据环境搭建

Hadoop遭遇勒索攻击

阅读: 27最近,部分黑客组织针对几款特定产品展开了勒索攻击。截止到上周,已有至少34000多台MongoDB数据库被黑客组织入侵,数据库中的数据被黑客擦除并索要赎金。文章目录事件综述Hadoop简介勒索攻击模式防护措施关于绿盟科技事件综述最近,部分黑客组织针对几款特定产品展开了勒索攻击。截止到上周,已有至少34000多台MongoDB数据库被黑客组织入侵,数据库中的数据被黑客擦除并索要赎金。随后,在2017年1月18日当天,又有数百台ElasticSearch服务器受到了勒索攻击,服务器中的数据被擦除。安全研究人员Niall Merrigan表示,截止到目前,受攻击的ElasticSearch服务器已经超过了2711台。紧随上述两次攻击事件,目前已经有黑客将目标瞄准了Hadoop集群。这些勒索攻击的攻击模式都
发布时间:2017-01-21 21:25 | 阅读:242583 | 评论:0 | 标签:漏洞分析 Hadoop Hadoop遭遇勒索攻击 MongoDB数据库 勒索攻击 数据库入侵 绿盟科技

同程旅游 Hadoop 安全实践

0x01 背景 当前大一点的公司都采用了共享Hadoop集群的模式[1]。 共享Hadoop是指:数据存储方面,公有/私有的文件目录混合存放在hdfs上,不同的用户根据需求访问不同的数据; 计算资源方面,管理员按部门或业务划分若干个队列,每个队列分配一定量的资源,每个用户/组只能使用某个队列中得资源。这种模式可以减小维护成本,避免数据过度冗余,减少硬件成本。但这种类似于云存储/云计算的方式,面临的一个最大问题就是安全。在同程,信息安全是渗透到每个部门的,数据安全又是重中之重。本文就Hadoop安全分享了同程旅游大数据架构部在这方面的实践。 然而,Hadoop是缺乏安全机制的。其中最关键的一个问题是,Client的用户名和用户组名的随意性。Hadoop默认从环境变量中取HADOOP_USER_NAME作为当前用户
发布时间:2017-01-19 01:45 | 阅读:97989 | 评论:0 | 标签:网络安全 Hadoop Hadoop安全实践

这家公司专注Hadoop系统的数据安全

近来IT界在热炒数据中心加密这一概念。这类加密技术以数据文件为中心,全程监管它入库前的网际传输。 BlueTalon公司在2013年于加州的雷德伍德城成立,其最初业务是数据库加密,但是2015年年初,它开始致力于Hadoop批量分析集群的敏感数据加密,并率先占领了市场。该公司提供了一个预加载程序包来避免导入到Hadoop里的数据流在私有云、关联数据库、onsite SQL服务器等任何地方泄露。 贴身保护每条数据 可以把BlueTalon想象成数据的贴身保镖,保护尽可能地贴近数据。据统计,90%到95%的攻击者通过授权证书来窃取数据。之前的摩根大通被窃取了7600万条信用卡记录,医疗机构Anthem则被盗8000万条。因此,在系统迟早被入侵之前,数据必须能保护自身。 大数据系统Hadoop就是一个很大的目标,用
发布时间:2016-12-06 13:50 | 阅读:92048 | 评论:0 | 标签:技术产品 hadoop 敏感数据保护 数据安全

Hadoop渗透及安全加固

前言 最近看到微博有人在讨论在Hadoop安全问题,也顺便了看一下。 很多产品设计之初就是使用在内网,所以默认不开启身份认证或者压根就没有身份认证模块,这种设计理念是有问题的 。例如es、redis、mongodb这些基础设施级的软件就因为没有身份认证很多安全问题都是由它导致的 。同时产品的安全设计也不要寄托在开发人员/运维人员的安全意识上,即使是安全人员也有疏忽大意的时候。 Hadoop简介 Hadoop是一个由Apache基金会所开发的一个开源 高可靠 可扩展的分布式计算框架。Hadoop的框架最核心的设计就是:HDFS和MapReduce。 HDFS为海量的数据提供了存储,MapReduce则为海量的数据提供了计算。 HDFS是Google File System(GFS)的开源实现。 MapRedu
发布时间:2016-11-05 18:15 | 阅读:142672 | 评论:0 | 标签:网络安全 Hadoop 安全加固 渗透Hadoop

Hadoop何以快速成为最佳网络安全工具?

Apache Hadoop 今年10岁了 这个以处理大量数据的实验做为开端的开源软件框架,已经稳步成长为以前所未有的方式解锁信息价值的成熟企业解决方案。今天,企业运用Hadoop解决各种各样的问题,从改善人类健康,到挖掘最大金融投资潜力,等等等等。10年间,业内见证了一个以Hadoop为中心的庞大生态系统的诞生和快速发展。 现代企业场景里,安全和风险从业者迅速认识到,数据洞见是理解、识别和解决企业威胁的关键。 我们开始意识到,网络安全,从很多方面上讲,就是个数据分析问题。正是由于这个原因,Hadoop,携其对海量数据的吸收、处理和分析能力,被广泛采纳来解决我们面临的各种挑战。 安全方面,Hadoop让用户可以圈住他们企业产出的所有数据。他们对网络、用户、终端乃至物联网(IoT)产生的信息都有完全的访问权——正
发布时间:2016-10-22 21:45 | 阅读:85399 | 评论:0 | 标签:技术产品 hadoop 数据挖掘 海量数据

利用hadoop做分布式暴力破解(OWASP杭州2013年春季WEB应用安全沙龙)

我在OWASP杭州2013年春季WEB应用安全沙龙讲了一个议题。http://www.owasp.org.cn/OWASP_Events/20130525《使用hadoop做分布式暴力破解》内容简介: 花大量时间讲了一下阿里的hadoop有多牛逼,最后我在上面执行了一条SQL。http://www.owasp.org.cn/OWASP_Events/Hadoop.zip阿里安全团队正在校招,请自行寻找投递方式,只要过了阿里的面试,你也有机会也在上面执行一条SQL。ps:看到casperkid(http://hi.baidu.com/casperkid)在用Prezi做一个演讲稿,比PPT帅很多,我特意去学习下,所以大家这次拿到的不是ppt,是exe。
发布时间:2013-05-27 15:51 | 阅读:92805 | 评论:0 | 标签:Java Security WEB SECURITY 原创文章 hadoop 暴力破解

公告

关注公众号hackdig,学习最新黑客技术

推广

工具

标签云