2023学年完整公开课版hdfs文件权限

朱佳目录0102hdfs文件权限hdfs中的权限拒绝错误hdfs文件权限1hdfs文件权限HDFS作为文件系统在某种程度上与POSIX文件系统类似。但是，HDFS中没有其他文件系统中的用户和组的概念。重要的是要理解HDFS超级用户的性质以及如何管理用户授权。还需要了解如何设置用户，以便让他们读取数据和写入HDFS文件系统。在Linux系统中，可以创建操作系统用户并将其作为现有操作系统组的成员。在Hadoop中，将目录与所有者和组关联，不需要实际“创建”用户或组。相反，使用用户和组的概念来设置文件和目录权限。hdfs文件权限hdfs-site.xml文件中的HDFS配置参数dfs.permissions.enabled决定是否在HDFS中启用权限检查：<property><name>dfs.permissions.enabled</name><value>true</value></property>参数的默认值为true，表示启用权限检查。如果将此参数设置为false，则会禁用HDFS权限检查。显然，可以在开发环境中执行此操作来屏蔽与权限相关的错误消息，但在生产集群中，需要将其保持为默认设置。hdfs文件权限HDFS使用符号（r，w）来表示读取和写入权限，就像Linux操作系统一样。当客户端访问目录时，如果客户端与目录的所有者相同，则Hadoop会测试所有者的权限。如果组匹配目录的组，则Hadoop测试用户的组权限。如果所有者和组名称都不匹配，Hadoop会测试目录的“其他”权限。如果权限检查都不成功，则拒绝客户端的请求。hdfs文件权限虽然文件有一个execute（x）权限，但就目录而言，执行权限意味着可以访问该目录的子目录。与底层Linux操作系统不同，Hadoop没有使用UID（用户ID）或GID（组ID）来标识用户和组。HDFS只是将目录或文件的用户和组存储为字符串。仅当用户具有正确的权限时，用户才能写入HDFS目录。hdfs中的权限拒绝错误2hdfs中的权限拒绝错误当在命令行执行HDFS命令时，甚至尝试通过NameNode网页浏览HDFS文件系统时，可能会收到权限拒绝错误信息。例如，尝试通过WebUI浏览文件，可能会收到Permissiondenied…的错误。在这种情况下，需要使用hdfs用户登录，并在命令行执行下面的命令更改HDFS目录/用户访问权限:$hdfsdfs-chmod-R755/userhdfs中的权限拒绝错误以root用户或任何其他非特权（从Hadoop的角度）用户运行管理命令将引发错误。如果以root用户身份运行Hadoop文件系统检查命令fsck，也会收到Permissiondenied…的错误。在这里运行fsck命令得到FAILED结果并不意味着文件系统已损坏！这只是意味着无法执行fsck命令。当以除HDFS超级用户hdfs之外的任何用户身份运行dfsadmin。hdfs中的权限拒绝错误使用dfsadmin-report也会出现类似的情况，正确的做法是以hdfs用户身份登录并执行命令，或者如果具有hdfs用户账户的sudo权限