Hadoop安装指南

Hadoop安装步骤为:

  1. 安装Vmware
  2. 安装Ubuntun
  3. 安装JDK
  4. 安装Hadoop

由于hadoop安装方式有三种,并且三种安装方式都可以在前面的基础上继续配置,分别是:

  • 本地模式
  • 伪分布
  • 分布式

参考官方文档


创建用户

sudo adduser dhu添加用户

到此,用户添加成功。如果需要让此用户有root权限,执行命令:

sudo vim /etc/sudoers

修改文件如下:

1
2
3
User privilege specification
root ALL=(ALL) ALL
dhu ALL=(ALL) ALL


安装jdk

参考linux中JDK的安装方法和配置

安装完之后不要忘了将所有者设置为dhu

使用命令sudo chown -R dhu java/


安装Hadoop

参考Hadoop官方文档中文版

下载hadoop

地址是hadoop2.7.2官方下载地址

我们选择将Hadoop解压到/usr目录下面

1
2
3
4
sudo tar -zxvf ~/下载/hadoop-2.7.2.tar.gz -C /usr/ # 解压到/usr中
cd /usr
sudo mv ./hadoop-2.7.2/ ./hadoop # 将文件夹名改为hadoop
sudo chown -R dhu ./hadoop # 修改文件权限

Hadoop 解压后即可使用。输入如下命令来检查 Hadoop 是否可用,成功则会显示 Hadoop 版本信息

1
2
cd /usr/hadoop
./bin/hadoop version


设置hadoop环境变量

使用nano /etc/profile命令编辑添加如下内容:

export HADOOP_HOME=/usr/hadoop/hadoop-2.7.2

同时把”PATH”改为

export PATH="$JAVA_HOME/bin:$JAVA_HOME/jre/bin:HADOOP_HOME/bin:$PATH"

现在profile文件的内容为:

1
2
3
4
export JAVA_HOME=/usr/lib/jvm/java8
export CLASSPATH=.:${JAVA_HOME}/lib:${JAVA_HOME}/jre/lib:CLASSPATH
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.2
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:HADOOP_HOME/bin:$PATH

同样也要执行source /etc/profile使配置文件生效。


更改文件权限

为了以后操作/usr/hadoop文件夹里面的文件方便,我们将其所有者改为dhu

sudo chown -R dhu hadoop/

##配置Haoop

在Linux中如何安装Java和hadoop,可参考
Hadoop2.7.2安装之完全分布式安装文档
Hadoop2.7.2安装之伪分布式搭建

##附加教程: 配置PATH环境变量

在这里额外讲一下 PATH 这个环境变量(可执行 echo $PATH 查看,当中包含了多个目录)。例如我们在主文件夹 ~ 中执行 ls 这个命令时,实际执行的是 /bin/ls 这个程序,而不是 ~/ls 这个程序。
系统是根据 PATH 这个环境变量中包含的目录位置,逐一进行查找,直至在这些目录位置下找到匹配的程序(若没有匹配的则提示该命令不存在)。
上面的教程中,我们都是先进入到 /usr/hadoop 目录中,再执行 sbin/hadoop,实际上等同于运行 /usr/hadoop/sbin/hadoop。我们可以将 Hadoop 命令的相关目录加入到 PATH 环境变量中,这样就可以直接通过 start-dfs.sh开启 Hadoop,也可以直接通过 hdfs 访问 HDFS 的内容,方便平时的操作。

同样我们选择在 ~/.bashrc 中进行设置,在文件最前面加入如下单独一行:

export PATH=$PATH:/usr/hadoop/hadoop-2.7.2/sbin:/usr/hadoop/hadoop-2.7.2/bin

添加后执行 source ~/.bashrc

使设置生效,生效后,在任意目录中,都可以直接使用 hdfs 等命令了

管理界面http://master_name:50070

Reference:

虾皮工作室——Hadoop学习系列教程

坚持原创技术分享,您的支持将鼓励我继续创作!