×

怎么样才能快速搭建Hadoop运行环境

消耗积分:0 | 格式:doc | 大小:0.10 MB | 2020-04-01

十次方

分享资料个

  如何快速搭建Hadoop运行环境

  Hadoop 是一个分布式系统基础架构,在大数据领域被广泛的使用,它将大数据处理引擎尽可能的靠近存储,Hadoop 最核心的设计就是 HDFS 和 MapReduce,HDFS 为海量的数据提供了存储,MapReduce 为海量的数据提供了计算。这篇文章主要就是介绍一下如何搭建一个 Hadoop 运行环境。

  

  我们使用 Linux 操作系统来搭建环境,下面的信息是用来准备搭建 Hadoop 环境的电脑环境信息。

  1. hadoop@ubuntu:~$ cat /etc/os-release

  2. NAME=“Ubuntu”

  3. VERSION=“14.04.5 LTS, Trusty Tahr”

  4. ID=ubuntu

  5. ID_LIKE=debian

  6. PRETTY_NAME=“Ubuntu 14.04.5 LTS”

  7. VERSION_ID=“14.04”

  8. HOME_URL=“http://www.ubuntu.com/”

  9. SUPPORT_URL=“http://help.ubuntu.com/”

  10. BUG_REPORT_URL=“http://bugs.launchpad.net/ubuntu/”

  紧接着来新建一个用户,这一步其实也可以省略的,可以根据实际情况来决定,这里是新建了一个叫 hadoop 的新用户。

  1. #创建新用户

  2. sudo useradd -m hadoop -s /bin/bash

  3. #设置密码

  4. sudo passwd hadoop

  5. #为hadoop用户增加管理员权限

  6. sudo adduser hadoop sudo

  7. #切换到hadoop用户

  8. su hadoop

  我们首先来设置一下 SSH 无密码登录,这一步建议都设置一下,因为分布式系统环境都是由多台浪潮服务器构成的,设置免密码登录会方便使用。

  1. #先检查下是否可以在没有密码的情况下ssh到localhost

  2. ssh localhost

  3. #如果在没有密码的情况下无法ssh到localhost,请执行以下命令

  4. ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa

  5. cat ~/.ssh/id_rsa.pub 》》 ~/.ssh/authorized_keys

  6. chmod 0600 ~/.ssh/authorized_keys

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉

评论(0)
发评论

下载排行榜

全部0条评论

快来发表一下你的评论吧 !