记录黑客技术中优秀的内容,传播黑客文化,分享黑客技术精华

基于Sentry的大数据权限解决方案

2021-07-22 04:15

说明

本文描述问题及解决方法同样适用于 弹性 MapReduce(EMR)

  • 系统环境说明

Linux环境:centos7.4

CDH:5.16.1

Java:1.8.0_131

Sentry版本:1.5.1

背景

Apache Sentry 是Cloudera公司发布的一个Hadoop开源组件,截止目前还是Apache的孵化项目,它提供了细粒度级、基于角色的授权以及多租户的管理模式。Sentry当前可以和Hive/Hcatalog、Apache Solr 和Cloudera Impala集成,未来会扩展到其他的Hadoop组件,例如HDFS和HBase等。

安装sentry

1. 在主页,单击群集名称右侧的下拉,点击“添加服务”;

2. 选择Sentry,点击“继续”;

3. 选择一组依赖关系;

4. 确认新服务的主机分配;

5. 配置存储数据库;

在mysql中创建对应用户和数据库:

mysql> create database sentry default character set utf8 collate utf8_general_ci;
mysql>grant all on sentry.* to 'sentry'@'cdh03.ali.aiwaystack.com' identified by 'sentry';
mysql>flush privileges;

6. 测试连接

7. 创建Sentry数据表,启动Sentry服务

Hive开启sentry服务以及开启Hive安全性

1. 在“Sentry 服务”中选择“Sentry”

2. 修改下面参数

Hive.warehouse.subdir.inherit.perms-->true

3. 选择hive-site.xml 的 Hive 服务高级配置代码段(安全阀),增加如下配置:

sentry.hive.testing.modefalse

4. 选择“范围”中的“HiveServer2”,修改如下配置:

hive.server2.enable.impersonation, hive.server2.enable.doAs-->false

5. 选择hive-site.xml 的 HiveServer2 高级配置代码段(安全阀),添加如下配置

hive.security.authorization.task.factoryorg.apache.sentry.binding.hive.SentryHiveAuthorizationTaskFactoryImpl

6. 选择hive-site.xml 的 Hive Metastore Server 高级配置代码段(安全阀),添加如下参数:

hive.metastore.client.implorg.apache.sentry.binding.metastore.SentryHiveMetaStoreClientSets custom Hive Metastore client which Sentry uses to filter out metadata.hive.metastore.pre.event.listenersorg.apache.sentry.binding.metastore.MetastoreAuthzBindinglist of comma separated listeners for metastore events.hive.metastore.event.listenersorg.apache.sentry.binding.metastore.SentryMetastorePostEventListenerlist of comma separated listeners for metastore, post events.hive.metastore.filter.hookorg.apache.sentry.binding.metastore.SentryMetaStoreFilterHook

配置yarn

在“允许的系统用户”参数“allowed.system.users”中添加hive用户

Yarn->配置->min.user.id修改为合适的值,当前为0

配置sentry

管理员组(sentry.service.admin.group)和允许的连接用户(sentry.service.allow.connect)中添加admin用户和组;

选择“服务范围”,修改管理员组,将默认“hive”、“impala”、“hue”删除,并增加“admin”。

在sentry-site.xml 的 Sentry 服务高级配置代码段(安全阀)中添加如下参数:

sentry.service.processor.factoriesorg.apache.sentry.provider.db.service.thrift.SentryPolicyStoreProcessorFactory,org.apache.sentry.hdfs.SentryHDFSServiceProcessorFactorysentry.policy.store.pluginsorg.apache.sentry.hdfs.SentryPluginsentry.hdfs.integration.path.prefixes/user/hive/warehouse

配置HDFS开启ACLs与sentry权限同步

勾选上即可。

开启其他关联

impala配置使用sentry

HUE配置使用sentry

等待“生成凭据”命令完成

在 Cloudera Manager 中为任何服务启用安全保护之后,将自动触发称为“生成凭据”的命令。您可以在显示正在运行的命令的屏幕右上角看到该命令的进度。请等待此命令完成(通过内含“0”的灰色框表示)。

文章来源于互联网:基于Sentry的大数据权限解决方案


知识来源: https://secvery.com/6116.html

阅读:27095 | 评论:0 | 标签:大数据

想收藏或者和大家分享这篇好文章→复制链接地址

“基于Sentry的大数据权限解决方案”共有0条留言

发表评论

姓名:

邮箱:

网址:

验证码:

公告

永久免费持续更新精选优质黑客技术文章Hackdig,帮你成为掌握黑客技术的英雄

求赞助求支持·广告位💖

标签云