最近更改 - 搜索:

功能总览

产品介绍

安装指南

用户指南

文档下载


FAQ.chm

调度专题.pdf

项目成员管理专题.pdf

数据质量与报告推送配置专题指导.pdf

edit SideBar

安装过程

本节介绍oceanmind安装步骤过程。








Step1.配置软件包

操作场景
本文以安装在X86服务器上、CentOS操作系统为例进行说明。该操作指导安装工程师将获取到的OceanMind软件包上传到指定节点。

说明
(1)所有操作需要在 root用户下执行。
(2)本文以CentOS操作系统安装在x86服务器上为例进行说明。
(3)本指导以一次性安装zookeeper、hdfs、yarn、spark、nacos、nginx、postgresql、mysql和OceanMind部件的场景进行说明,如需安装其他部件包(如GreenPlum、ES等),可以参考本章节其他部件包的处理方式操作即可。

前提条件
已经按照准备工具和软件将所需的软件包下载到本地。

操作步骤
1.准备软件包
将获取的OceanMind软件压缩包保存,文件列表如下:OceanMind.tar.gz

2.上传软件包
a.使用xftp工具,以 root用户登录将要安装OceanMind的服务器。
b.选中以上文件,拖动到当前节点的/opt目录下,等待上传完成。

3.解压软件包
a.使用xshell工具,以 root用户登录将要安装OceanMind的服务器。
b.进入/opt目录。

[root@rhino131 ~]# cd /opt

c.执行tar命令,解压OceanMind软件压缩包,目录下得到ansible目录。

[root@rhino131 opt]# tar -zxvf OceanMind.tar.gz


Step2.生成配置文件

集群环境部署必备,目前仅支持单机版本。

配置主机名:

[root@rhino131 ~]# vim /etc/hostname
rhino131

注:1、rhino001为样例,请根据实际规划修改。2、主机名不可包含“_”和“.”


Step3.配置并检查安装环境

操作场景
为了OceanMind软件能够稳定、高效运行,需要对现有的OS进行安装前适配和检查工作。若操作过程中出错需要查看安装日志,请参考查看安装日志。该操作指导安装工程师完成以下动作,所有动作均通过脚本自动完成:
▪ 检查系统版本是否适配
▪ /mnt/cdrom未被镜像挂载
▪ 检查rpm包版本是否适配系统版本
▪ 检查目录合法性
▪ 检查目录是否挂载磁盘

前提条件
▪ 术语解释
系统盘:安装操作系统所使用的的磁盘
数据盘:除了系统盘以外的磁盘统称为数据盘

操作步骤
1.检查OS的编码格式是否符合要求
使用xshell工具,以 root用户登录将要安装OceanMind的服务器。
执行locale命令,查看OS的编码格式是否为“en_US.UTF-8”

▪ 否,执行步骤2
▪ 是,不执行步骤2

2.修改编码格式,更改为“en_US.UTF-8”格式
RedHat/CentOS 7.X下执行vi /etc/locale.conf命令,将“LANG”的值修改为“en_US.UTF-8”,然后保存退出,重启操作系统后配置生效。

[root@rhino131 ~]# vi /etc/locale.conf
LANG="en_US.UTF-8"


3.数据盘检查
检查当前机器是否已存在数据盘,执行命令:

[root@rhino131 ~]# fdisk -l |grep /dev/sd |grep -v /dev/mapper |grep -v loop |grep Disk | wc -l

如果返回值大于1,表示该机器存在数据盘。则跳过步骤4。
如果返回值等于1,则需要执行步骤4。

4.通过系统盘空间创建临时硬盘
4.1执行以下命令,查看系统分区
[root@rhino131 ~]# df -h

选择一个剩余空间较大的分区(推荐剩余空间大于40G),来创建临时硬盘。此处以/home为例。

4.2切换到/opt/OceanMind/preInstall目录下
[root@rhino131 ~]# cd /opt/OceanMind/preInstall

a)编辑配置文件conf/loop_mountpoint.ini

vi conf/loop_mountpoint.ini
MOUNTPOINT=”/home”
loopcount=3 //创建的临时硬盘数量
loopsize=10240 //每个临时硬盘的大小

备注:MOUNTPOINT为即将创建临时硬盘的目录(临时硬盘创建过程中会占用该目录空间,请保证目录对应的磁盘分区有足够的空间并预留足够的空间);loopcount为每个目录创建临时硬盘的个数;loopsize为每个临时硬盘的大小,单位为m,默认是10G
b)切换到编辑模式(键盘输入i),修改上表中标红的部分,根据服务器的实际情况填写
c)退出编辑模式(键盘按Esc键)
d)保存(键盘输入:wq)
e)执行create_loop.sh , sh create_loop.sh

备注:检查临时硬盘创建结果,执行df -h,出现以下挂载信息即为创建成功

注意:记住此处创建成功的临时硬盘的挂载点为“/mnt/data0” “/mnt/data1” “/mnt/data2”,下文3.3.4章节在配置【配置数据存储目录】时会使用到。

f)清除临时硬盘 (需要清除时再操作)
sh delete_loop.sh
备注:清除临时硬盘优先解挂/mnt/data0,删除临时硬盘对应的文件需要交互确认

输入y,会彻底删除虚拟硬盘,输入n,只会解挂虚拟硬盘,不会删除虚拟硬盘,虚拟硬盘仍可以重新挂载。

5.该机器存在数据盘,但是未进行分区
5.1检查数据盘是否已分区,执行以下命令。如果返回值中包含sdb1、sdc1则表示数据盘已分区。则跳过步骤5.2。否则执行步骤5.2。

[root@rhino131 ~]# lsblk

注意:如果数据盘已分区,但未挂载时,需要手动进行挂载操作。

5.2如果所有数据盘都未分区,就可以执行parted脚本实现自动分区
[root@rhino131 ~]# cd /opt/OceanMind/preInstall
[root@rhino131 preInstall]# sh parted


6.检查服务器的是否满足安装条件
执行systemCheck.sh脚本执行环境检查

[root@rhino131 ~]# cd /opt/OceanMind/preInstall
[root@rhino131 preInstall]# sh systemCheck.sh

检查项清单:
▪ 检查系统版本(默认为7.5.1804)
▪ 挂载目录/mnt/cdrom挂载检查
▪ 检查系统根目录/空间使用率,大于80%黄色告警,大于90%红色告警(根目录空间建议大于70GB)
▪ 检查系统根目录/usr空间使用率,大于80%黄色告警,大于90%红色告警
▪ 检查磁盘是否分区、是否挂载
▪ 防火墙、selinux是否关闭,强制关闭
▪ 默认镜像是否挂载,未挂载自动挂载,自动创建本地源
▪ 根据rpm包检查清单dep_rpm_list检查服务器rpm包的安装情况,若未安装检查时会自动安装

Step4.安装OceanMind

操作场景
对系统的影响:
▪ 服务器安装环境会被初始化,主要涉及配置无密码访问、安装ntpd/httpd等系统服务、安装java、scala等大数据组件依赖的基础环境、修改系统环境变量
▪ 服务器上会安装mysql、postgresql、redis等数据库,用于存储系统元数据
▪ 服务器上会部署nacos、nginx等依赖组件
▪ 服务器上会部署hdfs大数据环境
▪ 安装成功后,可以登录OceanMind界面进行业务应用

前提条件
▪ 已经成功完成配置并检查安装环境操作
▪ 版本包所在目录的每一级目录都要可执行权限
▪ /mnt/cdrom被镜像挂载
▪ 服务器仅存在一个默认网关,且默认网关所指向的网卡ip地址就是当前系统将要使用的ip地址

操作步骤
1.使用xshell工具,以 root用户登录将要安装OceanMind的服务器

2.切换到安装目录/opt/OceanMind/install

cd /opt/OceanMind/install/

3.配置数据存储目录
a.打开配置文件

vi conf/dir.conf
typeset data_path=("/data01 /data02 /data03") #数据盘目录
typeset data_path=("/data01") #redis数据目录
typeset data_path=("/data01") #postgresql数据目录

b.修改配置文件
将vi编辑器切换到编辑模式(文件打开情况下,键盘输入i),编辑上表中引号中红色字体的部分,目录直接为磁盘挂载的目录,目录之间用空格隔开。
c.保存配置文件
退出编辑模式(Esc),键盘输入:wq,回车保存文件

4.执行安装脚本

sh auto_install.sh


5.当页面提示启动OceanMind进度为100%时,OceanMind部署完成


编辑 - 版本历史 - 打印 - 最近更改 - 搜索
本页面最后修订于:2021年-05月-26日