欢迎光临散文网 会员登陆 & 注册

CDH单机式安装

2023-09-18 13:18 作者:Faith-Rx  | 我要投稿

虚拟机磁盘大小为 40G,安装 CentOS7。

 注意:如果你的虚拟机磁盘大小为20G,你通过VMware进行磁盘容量扩展后,还需在CentOS 中对分区进行扩容,否则 VMware 扩展的容量无法使用

创建虚拟机,磁盘大小 40G;(此处不做演示)

设置静态 IP

 vim /etc/sysconfig/network-scripts/ifcfg-ens33

 


修改主机名

hostnamectl set-hostname xxx(主机名)

 


在/etc/hosts 文件中添加 IP、主机名映射

vim /etc/hosts

 


安装 java,配置环境变量;需要先将对应的jdk包上传至虚拟机环境中

解压后,在etc/profile中写配置

 


配置免密登录

ssh-keygen

ssh-copy-id 主机名

 


安装 MySQL

(1)检查是否安装过mysql,如有则卸载

# 检查是否安装过

rpm -qa|grep mariadb

 


# 卸载已经安装的mysql

rpm -e --nodeps mariadb-libs

 


(2)安装mysql的依赖,解压 mysql-5.7.38-1.el7.x86_64.rpm-bundle.jar,依次安装里面的文件

 


 

(3) 配置 MySQL

vi /etc/my.cnf

 


(4) 启动 MySQL

systemctl start mysqld

查看启动状态

systemctl status mysqld

 


(5)获取 MySQL 默认密码

cat /var/log/mysqld.log | grep password

(6)登录 MySQL mysql -uroot -p(你查询到的默认密码,注意不要复制前后梁端的空格)

7) 登录成功后设置密码策略

set global validate_password_policy=LOW;

set global validate_password_length=6;

set password = password("123456");

 


 8) 用户授权

update mysql.user set host = '%' where user = 'root';

flush privileges;

 


9) 建库

GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY '123456';

CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

CREATE DATABASE hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

CREATE DATABASE oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci; CREATE DATABASE hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

 


 

配置mysql驱动包

解压 mysql-connector-java-5.1.49.tar,将其中的 mysql-connector-java-5.1.49-bin.jar 拷贝到/usr/share/java,并改名为 mysql-connector-java.jar(重要)。

 



mysql-connector-java-5.1.27-bin.jar拷贝到/usr/share/java路径下,并重命名

 



安装 Cloudear Manager

解压 tar -zxvf cm6.3.1-redhat7.tar.gz

cd cm6.3.1/RPMS/x86_64/

 


安装 cloudera-manager-daemons

rpm -ivh cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

 


安装 cloudera-manager-agent

yum install -y bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb libxml2-python

 


yum install -y /lib/lsb/init-functions createrepo deltarpm python-deltarpm

 

yum install -y mod_ssl openssl-devel python-psycopg2 MYSQL-python

 

rpm -ivh cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm --nodeps --force

 

修改配置 server 节点

vim /etc/cloudera-scm-agent/config.ini

server_host=你的主机名

max_collection_wait_seconds=100.0

metrics_url_timeout_seconds=10.0

 

安装 cloudera-manager-server

rpm -ivh cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

 

CDH 解压后,将以下文件拷贝到/opt/clouodera/parcelrepo 目录

要修改.sha1的名字




 

修改 server 的 db.properties

vim /etc/cloudera-scm-server/db.properties

#修改如下内容

com.cloudera.cmf.db.type=mysql

com.cloudera.cmf.db.host=你的主机名:3306

com.cloudera.cmf.db.name=scm

com.cloudera.cmf.db.user=scm

com.cloudera.cmf.db.password=scm com.cloudera.cmf.db.setupType=EXTERNAL

 



 

初始化数据库用户

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm

 


启动 Cloudera Manager Server

systemctl start cloudera-scm-server

启动 Cloudera Manager Agent

systemctl start cloudera-scm-agent

 


CDH 界面安装 刚运行完上面可能要等会儿才进的去web端

通过 web 端访问 cm 安装 cdh

• 通过 你的主机名:7180 访问

• 用户名/密码:admin/admin

要在window的网页进行操作,记得关闭防火墙

 


 

接下来按我的图一样的操作

 

 

 

 

 此处报错,解决方法:

找一台未装过mysql的虚拟机,进入/usr/lib64/mysql/目录,将 libmysqlclient.s0.18.0.0下载到window,然后再移动到当前虚拟机中

 

下载至桌面

 

移动到当前虚拟机的/usr/lib64/mysql/目录

 


vim /etc/ld.so.conf

 

ldconfig

 

做完这些就没问题了

 

 

等待完成

 

 

至此安装完成,后续再加入spark和kafka的服务即可

 

 

 添加spark服务一路点继续即可。

最后在虚拟机上看看能不能正常启动

 

Hive 输入一两条sql命令来看是否会报错,没错就是好了

 

 


CDH单机式安装的评论 (共 条)

分享到微博请遵守国家法律