hadoop伪分布式安装教程
Hadoop伪分布式安装教程
1. 准备工作
基于CentOS 7 , jdk-8u152-linux-x64.tar和hadoop-3.1.3.tar环境搭建，准备好CentOS7 64位的镜像，然后在VMware上安装虚拟机
（1）修改静态IP
找到/etc/sysconfig/network-scripts/下的ifcfg-ens33配置文件
不是root用户命令需要加上sudo，该输密码输密码
Tips:
IPADDR和GATEWAY在此处看，另外，GATEWAY一般就是最后一个数字改成2，IPADDR的子网ip最后一个勿用0，1，2之类的，最后一个范围在3-128都可以
重启网络服务
centos7的网卡重启方法：systemctl restart network
因为不是root，该输密码输密码
Ping一下百度，看看网络是否接通
（2）关闭防火墙 ----------------------------》如果要验证密码，输入即可
查看防火墙状态： systemctl status firewalld.service
执行关闭命令： systemctl stop firewalld.service
执行开机禁用防火墙自启命令 ： systemctl disable firewalld.service
2. 解压并配置环境变量
完成上面的操作后，可以借助第三方工具连接虚拟机，提高工作效率，比如xshell，mobaxter
将文件上传至虚拟机(我用的mobaxter可以直接拉进去)
（1）将 jdk-8u152-linux-x64.tar和hadoop-3.1.3.tar上传在虚拟机中，将jdk与hadoop解压到指定目录（我是/usr/local），并改名为jdk，hadoop
改名
（2）配置环境变量 /etc/profile
export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
刷新环境变量
source /etc/profile
3. 修改主机名
（1）hostnamectl set-hostname 主机名，该输密码输密码，推荐reboot重启，或者使用bash，刷新一下
（2）修改IP映射
使用 vi 编辑器打开 /etc/hosts 文件，在文件尾部添加内容，格式：IP地址 主机名（中间用空格分隔），保存退出
设置完成后，重启网路服务: systemctl restart network
使用 ping 命令 ping 一下主机名，如果可以ping 通，表示设置成功。
（3）配置免密登录
执行完上面两条命令后，就可以实现免密码登录到本机。验证方式如下:
4. 配置hadoop文件 （此处文件中，所有的lzy均为主机名，根据自己的修改，不然最后会报错）
1）hadoop-env.sh 大概55行
2）core-site.xml
3）hdfs-site.xml
4）mapred-site.xml
5）yarn-site.xml
5. 格式化HDFS
Hadoop配置完成后，第一次使用Hadoop平台需要先格式化文件系统。
进入到Hadoop安装目录下的bin目录里，执行:./hdfs namenode -format
6. 启动并验证
因为hadoop是3.x.x版本，50070端口除非设置了，否则web UI接口输入9870
start-all.sh
另:配置文件中所写的文件夹，最好去对应目录创建，没创建可能后续使用出问题
