Hadoop, 大数据

hadoop-02 运行环境搭建

Posted by 蓝染君

On 2023年 9月 26日

已关闭评论

模板虚拟机准备

安装VMWARE
配置虚拟机
安装Centos7
- 磁盘分配
  - /boot ext4 1g
  - swap lvm 4g
  - / lvm 45g
IP设置
- hadoop100
- vmware
- windows

VMware网络配置

windows 网络配置

hadoop100

vi /etc/sysconfig/network-scripts/ifcfg-ens33

连不上可以如下设置

添加了NETMASK和DNS1、DNS2

TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=230730e9-2574-4188-8c54-4c5e1d646c70
DEVICE=ens33
ONBOOT=yes

IPADDR=192.168.10.101
NETMASK=255.255.255.0
GATEWAY=192.168.10.2
DNS1=114.114.114.114
DNS2=8.8.8.8

vi /etc/hostname
- 更改主机名
vi /etc/hosts
- 添加主机名 ip映射

修改windows的主机映射文件

C:\Windows\System32\drivers\etc\hosts

192.168.10.100	hadoop100
192.168.10.101	hadoop101
192.168.10.102	hadoop102
192.168.10.103	hadoop103
192.168.10.104	hadoop104

软件安装

yum install -y epel-release
yum install -y net-tools
yum install -y vim

关闭防火墙

systemctl stop firewalld
systemctl disable firewalld.service

创建用户并赋予root权限

useradd atguigu
passwd atguigu

vim /etc/sudoers

%wheel  ALL=(ALL)       ALL

atguigu    ALL=(ALL)      NOPASSWD:ALL

创建文件夹

cd /opt
sudo mkdir module
sudo mkdir software
sudo chown atguigu:atguigu module/ software/

卸载虚拟机自带的JDK

rpm -qa | grep -i java | xargs -n1 rpm -e

rpm -qa 查询所安装的所有rpm软件包
grep -i 忽略大小写
xargs -n1 表示每次只传递一个参数
rpm -e -nodeps 强制卸载软件

重启虚拟机 reboot

克隆虚拟机

克隆前先关机

修改克隆机主机名和IP地址

# 网络配置只需修改IP地址即可
vim /etc/sysconfig/network-scripts/ifcfg-ens33
# 修改主机名称
vim /etc/hostname

快捷键Ctrl + L 终端清屏

hadoop102安装JDK

cd /opt/software/
tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/
sudo vim /etc/profile.d/myenv.sh

# 添加环境变量
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

# 生效
source /etc/profile

hadoop102安装hadoop

cd /opt/software/
tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/
sudo vim /etc/profile.d/myenv.sh

# 添加环境变量
#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

# 生效
source /etc/profile

hadoop目录

bin 常用命令

hdfs
mapred
yarn

etc

hdfs-site.xml
mapred-site.xml
yarn-site.xml
core-site.xml
workers

sbin

start-dfs.sh
start-yarn.sh
mr-jobhistory-daemon.sh

Blog

About 蓝染君