四、大数据集群服务器搭建

1.  新增Linux服务器

1.1、克隆虚拟机

学习环境中，一般使用VMware虚拟机克隆Linux系统，用来进行集群服务器的搭建。

VMware支持两种类型的克隆： 完整克隆、链接克隆  

完整克隆是和原始虚拟机完全独立的一个复制，它不和原始虚拟机共享任何资源。可以脱离原始虚拟机独立使用。 链接克隆需要和原始虚拟机共享同一虚拟磁盘文件，不能脱离原始虚拟机独立运行。但采用共享磁盘文件却大大缩短了创建克隆虚拟机的时间，同时还节省了宝贵的物理磁盘空间。通过链接克隆，可以轻松的为不同的任务创建一个独立的虚拟机。

虚拟机克隆的前置条件：虚拟机处于关闭状态。

虚拟机克隆的流程：

1.2、修改虚拟机的硬件配置

1.3、修改虚拟机的网络配置

修改主机名hostname:

修改IP地址

systemctl restart network   # 重启网络服务

2.  关闭防火墙

2.1、关闭firewalld

2.2、关闭SElinux

安全增强型 Linux（Security-Enhanced Linux）简称 SELinux，它是一个 Linux 内核模块，也是 Linux 的一个安全子系统。

SELinux 主要由美国国家安全局开发。2.6 及以上版本的 Linux 内核都已经集成了 SELinux 模块。

SELinux 主要作用就是最大限度地减小系统中服务进程可访问的资源（最小权限原则）。

注意需要重启才能生效。

3.  修改主机名

使用vi编辑器，修改主机名：

vim /etc/hostname root

重启后生效

4.  修改hosts映射

分别编辑每台虚拟机的hosts文件，在原有内容的基础上，填下以下内容:

注意：不要修改文件原来的内容，三台虚拟机的配置内容都一样。

5.  SSH免密登录

6.  时钟同步

阿里云时钟同步服务器：  ntpdate ntp4.aliyun.com

7.  远程文件拷贝

远程文件拷贝命令：scp

scp是 remote file copy program 的缩写, scp是远程文件拷贝命令

7.1、从本机拷贝到远程服务器

准备工作

1、文件

需求: 将本地 01.txt 文件 复制到 192.168.153.102 机器的 /export目录下  

2、文件夹

语法格式

需求: 将本地 aaa 目录 复制到 192.168.150.102 机器的 /export 目录下

7.2、从远程服务器复制到本机

准备工作

1、文件

语法格式

练习: 将 hadoop02的 111.txt 文件 复制到 hadoop01的 export目录下

scp root@192.168.100.202:/export/a1/111.txt /export

scp root@hadoop02:/export/a1/222.txt /export

scp hadoop02:/export/a1/222.txt /export

2 目录

语法格式

scp -r remote_username@remote_ip:remote_folder local_folder

练习: 将hadoop02的 /export/a1/ 目录 复制到 hadoop01 的 export目录下

scp -r root@192.168.100.202:/export/a1 /export

scp -r hadoop02:/export/a1 /export

五、Shell编程

1.  什么是Shell

1.1、简介

Shell 是一个用 C 语言编写的程序， 通过 Shell 用户可以访问操作系统内核服务。  

它类似于 DOS 下的 command 和后来的 cmd.exe。 Shell既是一种命令语言，又是一种程序设计语言。  

Shell script 是一种为shell编写的脚本程序。 Shell 编程一般指shell脚本编程，不是指开发shell自身。

1.2、Shell解释器

Shell编程跟java、php编程一样，只要有一个能编写代码的文本编辑器和一个能解释执行的脚本解释器就可以了。  

Linux的Shell解释器种类众多，一个系统可以存在多个 shell，可以通过cat  /etc/shells 命令查看系统中安装的 shell。  

bash 由于易用和免费，在日常工作中被广泛使用。同时， bash 也是大多数Linux 系统默认的 Shell。

总结：java执行需要虚拟机解释器, 同理shell程序执行也需要解析器

2.  快速入门

2.1、编写Shell脚本

使用 vi 编辑器新建一个文件hello.sh（扩展名并不影响脚本执行）

echo命令 用于向窗口输出文本。  

给shell程序赋予执行权限：  

chmod +x ./hello.sh  # 使脚本具有执行权限  

2.2、执行Shell脚本

执行shell程序：

./hello.sh  #执行脚本  

直接写 hello.sh，linux 系统会去 PATH 里寻找有没有叫hello.sh的。  

用 ./hello.sh 告诉系统说，就在当前目录找

还可以作为解释器参数运行。 直接运行解释器，其参数就是 shell 脚本的文件名，如： sh  /root/shelldemo/hello.sh

在使用解释器直接执行shell程序这种方式来运行脚本，不需要考虑脚本程序的执行权限了

小结： 使用vi编辑器，创建shell程序文件。通常使用.sh作为shell程序后缀名。

shell程序的基本格式：

1、指定解释器信息。 默认：/bin/bash

2、书写shell程序代码

3、保存shell程序代码

4、执行shell程序     提前：给shell程序授予可执行权限    

第一种：./xxx.sh   #在当前目录中执行shell程序    

第二种：/xx/xxx.sh   #书写全路径的shell程序    

第三种：sh /xx/xxx.sh  #把shell程序作用/bin/sh解释器的参数，通过运行解释器来执行shell