hadoop集群虚拟机安装详解.doc

在VMWare Workstation8.0上安装和配置Hadoop群集环境VMWare Workstation：VMware Workstation8.0.0 build-471780JDK：1.6.0_25Hadoop：hadoop-0.21.0Linux：CentOS Release 5.5Linux客户端：SSHSecureShellClient-3.2.9QQ:3342590启动后直接按回车键，即可进入图形安装界面；直接选择下一步，并且选择英文字符，避免以后出现字符错乱问题，所以现在我们所有字符都已英文为主；这里我们选择默认分区，不在自定义，为了节省更多的时间！这里我们也不再做IP的配置，直接进行下一步；等安装好系统以后单独配置，采用“桥接”方式进行；然后就是选择时区，和设置root密码的截图，这里省略，不做截图，我选择上海的时区，密码：redhat;这里可以选择server，和server-gui，也可以省略，全部不选择，来节约更多时间来按照其他节点。然后直接下一步重启下系统，最后进行完成工作；finish工作。以此类推，按照类似步骤安装完成，3个节点的虚拟机环境，Redhat01,02,03这3个节点、配置虚拟机的IP地址用root账号登陆虚拟系统，输入以下命令：配置如下模式，请知晓修改主机名称：笔者测试环境的虚拟机的IP地址和主机名的对应情况如下：Red Hat01 31 redhat01 Red Hat02 32 redhat02Red Hat03 33 redhat03并保持他们之间的网络相关可以PING通。保证网络没有问题即可安装JDK安装JDK之前，先下载用于登录Linux的客户端SSH Secure Shell Client。下载地址：/softdown/20089_2.htm（如果地址无效，可在网上搜索SSH Secure）。安装完成之后，将会有两个客户端，一个远程登录客户端，另一个FTP客户端远程登录客户端FTP客户端在官方网站上下载jdk1.6.0_25版本打开中安装的FTP客户端SSH Secure File Transfer Client，然后将下载的JDK上传到虚拟机的 /usr目录下。（注：每台虚拟机都要JDK的安装）使用中安装的远程登录工具，分别登录每台虚拟机，进行JDK的安装。 执行下面的指令，编辑/etc/profile文件，进行环境变量的设置 在相应的位置添加下图中蓝色框的下面红色框所圈出的内容 重新开启远程登录客户端，重新登录【必须重新登录远程登录客户端，环境变量才会起作用】 输入javac指令验证JDK安装是否成功如出现上述内容则说明JDK安装成功，并且环境变量配置成功建立虚拟机之间SSH无密码登录 按照如下顺序，在31虚拟机中执行框出的指令测试31无需密码登陆直接直接登陆redhat02,03机器；安装hadoop 在官方网站上下载hadoop-0.21.0版本 打开中安装的FTP客户端SSH Secure File Transfer Client，然后将下载的hadoop上传到虚拟机的 /usr目录下。（注：每台虚拟机都要hadoop的安装） 配置HADOOP环境变量【和配置JDK环境变量类似】 配置Hadoop配置文件 更改hadoop安装路径/conf/hadoop-env.sh(三个虚拟机都配) 更改hadoop安装路径/conf/masters和slaves两个文件。 只配置31虚拟机配置hadoop安装路径/conf/core-site.xml、hdfs-site.xml和mapred-site.xml三个文件。 三个虚拟机都需要配置，并且配置的内容相同至此，Hadoop框架在VMWare Workstation虚拟机中安装任务全部结束。进行验证安装是否成功 首先在31机器上执行如下指令，格式化文件系统hdfs namenode format 执行结果如下： 然后在31机器上执行如下指令，启动HDFS文件系统start-dfs.sh （停止HDFS文件系统：stop-dfs.sh）执行结果如下： 执行如下指令，列出HDFS文件系统中存在的目录情况hadoop fs ls 执行结果如下： 关于hadoop fs指令的详细参数说明，请参照相关文档。 执行如下指令，启动MAPREDUCE框架start-mapred.sh （停止MAPREDUCE框架：stop-mapred.sh）执行结果如下： Web浏览器监视HDFS文件系统状态和MAPREDUCE执行任务的情况。HDFS文件系统浏览器中输入：31:50070/ 浏览器中输入：31:50030 运行框架自带的wordcount示例 在31虚拟机中建立两个输入文件input1和input2 HDFS中建立一个目录input 拷贝input1和input2两个文件到HDFS的input目录中 运行wordcount程序 查看运行结果如果至此全部成功，那么恭喜整个Hadoop框架成功搭建与VMWare Workstation软件中，下面的任务就是编写自己的程序，然后运行于该框架。尽情享受Hadoop的乐趣吧。在安装过程