如何快速搭建Hadoop运行环境
Hadoop 是一个分布式系统基础架构,在大数据领域被广泛的使用,它将大数据处理引擎尽可能的靠近存储,Hadoop 最核心的设计就是 HDFS 和 MapReduce,HDFS 为海量的数据提供了存储,MapReduce 为海量的数据提供了计算。这篇文章主要就是介绍一下如何搭建一个 Hadoop 运行环境。
我们使用 Linux 操作系统来搭建环境,下面的信息是用来准备搭建 Hadoop 环境的电脑环境信息。
1. hadoop@ubuntu:~$ cat /etc/os-release
2. NAME=“Ubuntu”
3. VERSION=“14.04.5 LTS, Trusty Tahr”
4. ID=ubuntu
5. ID_LIKE=debian
6. PRETTY_NAME=“Ubuntu 14.04.5 LTS”
7. VERSION_ID=“14.04”
8. HOME_URL=“http://www.ubuntu.com/”
9. SUPPORT_URL=“http://help.ubuntu.com/”
10. BUG_REPORT_URL=“http://bugs.launchpad.net/ubuntu/”
紧接着来新建一个用户,这一步其实也可以省略的,可以根据实际情况来决定,这里是新建了一个叫 hadoop 的新用户。
1. #创建新用户
2. sudo useradd -m hadoop -s /bin/bash
3. #设置密码
4. sudo passwd hadoop
5. #为hadoop用户增加管理员权限
6. sudo adduser hadoop sudo
7. #切换到hadoop用户
8. su hadoop
我们首先来设置一下 SSH 无密码登录,这一步建议都设置一下,因为分布式系统环境都是由多台浪潮服务器构成的,设置免密码登录会方便使用。
1. #先检查下是否可以在没有密码的情况下ssh到localhost
2. ssh localhost
3. #如果在没有密码的情况下无法ssh到localhost,请执行以下命令
4. ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
5. cat ~/.ssh/id_rsa.pub 》》 ~/.ssh/authorized_keys
6. chmod 0600 ~/.ssh/authorized_keys
声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
全部0条评论
快来发表一下你的评论吧 !