Hadoop平台的安全保障 省赛获奖

Hadoop平台的安全保障系统安全01运营安全02Content目录01系统安全系统安全1、身份验证和授权基于角色的权限访问控制（RBAC）是整个访问控制的核心，RBAC就是把角色和权限进行关联，这个关联包括了角色、组、表、标签以及其他各种可用数据。认证和授权在大型企业里，是需要跨团队的合作的，比如与SSO的集成是和IT打配合，数据字段密级的颗粒控制和数据平台配合实现。Hadoop生态里，身份是个比较复杂的内容，Hadoop在设计的时候就尽可能的与权威身份源松耦合，Hadoop默认使用Kerberos作为认证协议，但Kerberos对更高级的身份特征认证支持是不够的。系统安全2、静态数据保护静态数据的保护其实就是指加密，HDFS支持原生静态加密，防止直接从磁盘读取数据。但是敏感数据可不仅仅存在于HDFS层，日志、交换文件、消息队列、元数据库等其他地方也会有大量敏感数据存在。3、多租户Hadoop通常都是为多租户提供服务，例如我所在的公司，租户包括了不同的bg，也包括收购投资的公司，也有与外部合作的租户。租户之间的数据应该隔离或者加密，有的公司用的ACL来控制，而在云端，多数是通过区域密钥加密。系统安全4、节点通信举例来说，Hadoop和MongoDB默认是非安全通信方式，用的是基于TCP/IP，未加密的RPC。虽然提供了TLS和SSL，但是很少用在节点之间。5、客户端交互Client是和resourcemanager、node之间交互的，见图一。因此Client可以做出攻击行为，比如恶意占用资源、利用漏洞攻击。而Hadoop是一个分布型的架构，传统上的防火墙之类的工具不适合。系统安全6、分布式节点有一句话很经典，移动计算比移动数据便宜，数据在有资源的地方计算，从而实现大规模并行处理。分布式会让环境更复杂，从而产生更多的攻击面，补丁、配置管理、身份验证、静态数据保护、一致性都成为问题。02运营安全运营安全1、身份验证和授权身份和身份验证是安全的核心，在这方面Hadoop做了大量的集成，从最初不提供认证，到集成LDAP，ActiveDirectory，Kerberos、X.509，通过这些集成，可以基于角色映射授权，也可以扩展到更细粒度的授权（比如ApacheSentry），再到自定义。2、特权访问在公司里，可能负责操作系统的是一个管理员，Hadoop是另一个管理员，他们都可以访问集群的文件，所以需要分隔管理角色，把不必要的访问限制到最低。对于直接访问数据，可以通过基于角色授权、访问控制列表等的组合管理方式。对于管理角色则可以通过三权分立来分隔。再强一些，则是加密和密钥管理，HDFS加密。运营安全3、配置和补丁管理集群可能有几百个节点，对这些节点统一做配置和补丁管理是个难题，比如新增节点和原有节点配置不统一这类问题。现有的配置管理工具都是在底层平台上，NoSQL系统还没有对应的配置管理，另外市面上也没有针对Hadoop做特定检查的扫描器。4、软件依赖Hadoop有很多不同组件，每个组件有自己的配置、补丁、验证方式。好在Docker