记录黑客技术中优秀的内容, 传播黑客文化,分享黑客技术精华

Hadoop渗透及安全加固

2016-11-05 18:15

前言

最近看到微博有人在讨论在Hadoop安全问题,也顺便了看一下。

20161105151648

很多产品设计之初就是使用在内网,所以默认不开启身份认证或者压根就没有身份认证模块,这种设计理念是有问题的 。例如es、redis、mongodb这些基础设施级的软件就因为没有身份认证很多安全问题都是由它导致的 。同时产品的安全设计也不要寄托在开发人员/运维人员的安全意识上,即使是安全人员也有疏忽大意的时候。

Hadoop简介

63a687c0da94e9ad555d38f4be470ae7_b

Hadoop是一个由Apache基金会所开发的一个开源 高可靠 可扩展的分布式计算框架。Hadoop的框架最核心的设计就是:HDFS和MapReduce。

HDFS为海量的数据提供了存储,MapReduce则为海量的数据提供了计算。

HDFS是Google File System(GFS)的开源实现。

MapReduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。

安全问题

总的来说Hadoop安全问题涉及三个方面:

0x1 WebUI敏感信息泄漏

Hadoop默认情况开放了很多端口提供WebUI,下面这些多多少少都会泄漏一些信息,但是总的来说在内网还好吧。

一、HDFS

  • NameNode 默认端口 50070
  • SecondNameNode 默认端口 50090
  • DataNode 默认端口 50075
  • Backup/Checkpoint node 默认端口 50105

二、MapReduce

  • JobTracker 默认端口 50030
  • TaskTracker 默认端口 50060

端口探测,扫描HDFS和MapReduce的WebUI对应的服务端口

had1

had2

NameNode WebUI管理界面

通过NameNode节点管理HDFS

had3

其中比较重要的是DataNode 默认端口50075开放的话,攻击者可以通过hdsf提供的restful api对hdfs存储数据进行操作。

restful api参考:http://hadoop.apache.org/docs/r1.0.4/webhdfs.html

had4

0x2 MapReduce代码执行漏洞

MapReduce demo:https://github.com/huahuiyang/yarn-demo

稍微改动了一下:

had6

执行mapreduce任务:

bin ./hadoop jar wordcount.jar com.yhh.mapreduce.wordcount.WordCount data.txt result

查看执行结果:

bin cat result/part-00000

had5

既然可以执行jar程序,执行系统命令还是很容易的,但是这个需要一个Hadoop的shell, 问题也不大。

0x3 Hadoop的第三方插件安全漏洞

Cloudera Manager <=5.5

  1. Cloudera Manager CVE-2016-4949 Information Disclosure Vulnerability
  2. Template rename stored XSS (CVE-2016-4948)

Kerberos wizard stored XSS (CVE-2016-4948)

Host addition reflected XSS (CVE-2016-4948)

Cloudera HUE =< 3.9.0

  1. Enumerating users with an unprivileged account (CVE-2016-4947)
  2. Stored XSS (CVE-2016-4946)
  3. Open redirect

Apache Ranger =< 0.5

  1. Unauthenticated policy download
  2. Authenticated SQL injection (CVE-2016-2174)

Apache Group Hadoop 2.6.x

  1. Apache Hadoop MapReduce信息泄露漏洞(CVE-2015-1776)

Hive任意命令/代码执行漏洞

HQL可以通过transform自定义Hive使用的 Map/Reduce 脚本,从而调用shell/Python等语言,导致攻击者可以通过hive接口等相关操作方式直接获取服务器权限

总结

漏洞往往是相似的,Spark 6066 7077端口也存在着类似的安全问题,默认情况下可以推送jar包执行,如果权限足够大可以实现植入ssh公钥,有兴趣的可以研究下,估计在内网可以搞到一些研发的机子。

安全解决方案

  1. 开启kerberos认证,参考:http://hadoop.apache.org/docs/r2.7.3/hadoop-auth/Configuration.html
  2. 敏感页面以及目录最好也不要对普通用户开放,可nginx方向代理、iptables解决。(jmx/logs/cluster/status.jsp/)
  3. hadoop集群单独部署 做好安全监控发现被攻击迹象及时告警

reference

作者:0c0c0f  公众号:

767165947106101429

未经允许不得转载: » Hadoop渗透及安全加固

知识来源: www.mottoin.com/91334.html

阅读:176656 | 评论:0 | 标签:网络安全 Hadoop 安全加固 渗透Hadoop

想收藏或者和大家分享这篇好文章→复制链接地址

“Hadoop渗透及安全加固”共有0条留言

发表评论

姓名:

邮箱:

网址:

验证码:

公告

九层之台,起于累土;黑客之术,始于阅读

推广

工具

标签云

本页关键词