虚拟机:Hadoop集群的测试

电子说

1.2w人已加入

描述

  一、格式化文件系统

  通过前面的学习,此时还不能直接启动集群,因为在初次启动HDFS集群时,编写对主节点进行格式化处理,具体指令如下:

  hdfs namenode -format(只需要在主节点运行即可或hadoop namenode -format)

  执行以上任意一条命令若出现“successfully formatted”文字表示格式化成功,然后就可以启动集群了。

  二、启动和关闭Hadoop集群

  1.单个节点逐个启动和关闭

  a.在主节点运行namenode进程

  hadoop-daemon.sh start namenode

  b.在每个从节点运行datanode进程

  hadoop-daemon.sh start datanode

  c.在主节点运行yarn resourcemanger进程

  yarn-daemon.sh start resourcemanager

  d.在每个从节点运行yarn nodemanger进程

  yarn-daemon.sh start nodemanager

  e.在规划节点hadoop02使用以下指令启动secondarynamenode进程

  hadoop-daemon.sh start secondarynamenode

  运行完成以上进程命令,如何判断是否成功?需要jps命令查看当前虚拟机进程,hadoop01是四个进程hadoop02是三个进程hadoop03是两个进程

  2.脚本一键启动和关闭

  (1)在主节点hadoop01上使用以下指令启动所有HDFS服务进程:

  start-dfs.sh

  (2)在主节点hadoop01上使用以下指令启动所有YARN服务进程:

  start-yarn.sh

  如果需要停止相关服务进程,只需要将start改为stop即可(即stop-dfs.sh和stop-yarn.sh)

  hadoop01 192.168.21.164

  通过访问以上IP+端口地址(50070 8088两个端口)

  http:192.168.21.164:50070http:192.168.21.164:8088

  如果没有关闭防火墙,可能导致无法访问,则使用以下命令关闭防火墙:

  systemctl stop firewalld(三台机器都要关闭)

  如果以主机名来访问二大集群

  http://hadoop01:50070http://hadoop01:8088

  则必须配置宿主机hosts文件在C:\Windows\System32\drivers\etc填写如下内容:

  192.168.21.164 hadoop01192.168.21.165 hadoop02192.168.21.166 hadoop03

打开APP阅读更多精彩内容
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

全部0条评论

快来发表一下你的评论吧 !

×
20
完善资料,
赚取积分