分布式

Hadoop实操-1—环境准备

1.安装虚拟机——centos7.5

1.1 前期准备

  1. 测试网络连通：

ping www.baidu.com

  1. 最小系统版：安装必要组件

若出现报错可见：CentOS7 执行 yum 命令问题-starryv.top

  • net-tools：网络工具包

yum install -y net-tools

  • vim: 编辑器

yum install -y vim

  • epel-release：软件仓库

yum install  -y epel-release

  1. 关闭系统防火墙：在企业部署中通常在对外的网络统一设置防火墙

systemctl stop firewalld
systemctl disable firewalld.service

1.2 用户及其文件路径设置

1.创建用户 duan，并修改密码

useradd duan
passwd duan

2.配置 duan 用户具有 root 权限，方便后期加 sudo 执行 root 权限的命令

 vim /etc/sudoers

修改/etc/sudoers 文件，一定保证在%wheel 这行下面添加一行！！！，如下所示：

\## Allow root to run any commands anywhere
root  ALL=(ALL)   ALL
\## Allows people in group wheel to run all commands
%wheel ALL=(ALL)    ALL
duan  ALL=(ALL)   NOPASSWD:ALL

3.在/opt 目录下创建文件夹，并修改所属主和所属组

（1）在/opt 目录下创建 module、software 文件夹

mkdir /opt/module
mkdir /opt/software

（2）修改 module、software 文件夹的所有者和所属组均为 duan 用户

chown duan:duan  /opt/module 
chown duan:duan  /opt/software

4.卸载原主机 JDK——本实验基于最小系统安装故省略此步骤

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

5.重启主机

reboot

2.配置模板机

2.1 配置 vmware IP

image-20250423113306014.png

Snipaste_2025-04-27_15-34-53.png

2.2 配置 hadoop100 IP

vim /etc/sysconfig/network-scripts/ifcfg-ens33

在文件中增加以下内容

IPADDR=192.168.10.100
GATEWAY=192.168.10.2
DNS1=192.168.10.2

image-20250423113617974.png

2.3 配置 windows IP（以 win11 为例）

image-20250423113716680.png

image-20250423113747731-dlMu.png

2.4 修改主机名称映射

1.修改 linux 映射（hadoop100）

vim /etc/hostname

image-20250423113819208.png

vim /etc/hosts

添加如下内容

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105

2.修改 Windows 主机映射

注：win7 可以直接修改，win10 之后需要将文件复制到桌面修改后再复制覆盖回原路径！

（a）进入 C:\Windows\System32\drivers\etc 路径

（b）打开 hosts 文件并添加如下内容，然后保存

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105

3.克隆虚拟机——模板机需关机状态下

image-20250423113912153.png

克隆后，依据上面的配置步骤，分别修改克隆机的主机静态 IP（ IPADDR = 192.168.10.10X ）和 hostname（hadoop10X）

4. 环境配置

在 Hadoop102 中进行以下部署

4.1 安装 JDK 和 Hadoop

  • hadoop-3.1.3.tar.gz

  • jdk-8u212-linux-x64.tar.gz

软件包存储位置(/opt/software )和安装位置( /opt/module )

通过 xftp 将 hadoop-3.1.3.tar.gz 和 jdk-8u212-linux-x64.tar.gz 传输至 /opt/software 下

4.2 安装 JDK

注：本虚拟机采用最小系统安装故省略卸载原有 JDK 步骤

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

配置环境变量

#my_env.sh 为新建的文件
sudo vim /etc/profile.d/my_env.sh

添加以下内容

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
配置完成后更新资源
source /etc/profile
java

4.3 安装 Hadoop

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

配置环境变量

sudo vim /etc/profile.d/my_env.sh

添加以下内容

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

配置完成后更新资源

source /etc/profile
hadoop

输出以下内容代表安装成功

4.4 Hadoop 中常用的目录：

image-20250423115424839.png

续：Hadoop 实操-2—完全分布式运行-starryv.top


Comment