Cloudera CDH 大数据集成环境搭建,第一部分: 制作 Ubuntu 16.04 xenial cloudera CDH 5.12.1可安装ISO镜像文件

一.制作CDH的可安装ISO文件.(所有操作都在root权限下)

1. 首先在宿主系统里安装一些必要的软件.

2. 在宿主机上(物理或者虚拟机上安装Ubuntu 16.04以上版本),把ubuntu-16.04 的ISO文件在线下载或者下载好了传到 /tmp/cdh 目录, 然后执行以下命令.

3.解压filesystem.squashfs文件解压到当前目录,解压出来的目录为squashfs-root,可以将需要的其他文件或者软件复制到 squashfs-root 目录中的相应位置.

4.切换到解压后的文件系统中进行相关定制.

5.进入到临时的文件系统中后,首先进行一些必要的设置.

6.在新的系统中安装一些需要定制的软件以及配置.

7.添加CDH的key,下载CDH官网的源.

8.下载安装CDH manager.

安装好CDH的manager后在 /opt/目录下会有个 cloudera 的文件夹, 其中 /opt/cloudera/parcel-repo/是放下载好后的 parcel 文件的,这样可以离线安装,不然就得联网,/opt/cloudera/csd/ 文件夹下放的是第三方包的元数据jar包,让CDH Manager在后台可以找到.

9.下载CDH的相关包,其中 cloudera-manager-xenial-cm5.12.1_amd64.tar.gz 这个包可以不用下载了,已经使用apt安装好了.

下载完之后必须要将 sha1 文件重命名成后缀为 sha的,不然会验证失败导致从官网重新下载.

然后下载相关的第三方扩展csd文件

10.设置一些重要的服务,注意以下提示中的内容(重要).

修改ntp配置文件,改之前先备份.

添加如下内容

11.修改mysql的相关配置,可根据自身进行相关设置.

mysqld 段添加如下内容

注释掉只允许登录的限制

启动mysql,如果宿主机器上有mysql服务并且在运行状态,则先停止掉,

启动过程提示 No directory, logging in with HOME=/ 可以忽略. 登录到系统中,设置允许远程登录信息,mysql密码是在安装的时候输入的密码.

然后重启mysql,如果提示重启失败等,则强制kill掉相关的mysql进程,然后重新启动.

12.设置jdk以及环境变量.

首先创建自定义目录,将需要的一些软件,脚本放到自定义的目录

默认使用apt安装的CDH Manager只会找 /usr/lib/jvm/java-7-oracle-cloudera 目录下的jdk,所以如果不需要安装spark2(安装spark2必须是jdk 1.8版本以上)的话,只需要这样安装jdk即可,这个版本是jdk1.7的,cloudera官方提供的.

如果需要使用spark2或者需要jdk1.8以上的环境,则去官网下载jdk最新版本, http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 放到 /usr/local/kernelstudio/local 目录下,我这里下载的是  jdk-8u144-linux-x64.tar.gz,然后解压

编辑自定义脚本,加入环境变量以及其他配置.

添加如下内容

然后添加脚本到相应的系统环境中

如果不是apt安装的jdk,则要执行如下命令

13. CDH Manager的jar包搜索路径设置.此处不执行,则在导入scm的数据库的时候会提示找不到驱动. CDH默认的数据库驱动搜索目录都在 /usr/share/java 目录下,所以可以下载相应的驱动到此目录,特别注意驱动的文件名,可按照驱动错误提示重命名文件.

14. 导入CDH Manager的数据以及创建其他相关数据库.看到如下成功的信息则表示可以了.

登录到mysql, 创建CDH 需要用到的相关数据库.

15.编辑内核配置脚本,因为CDH运行的时候需要对内核参数进行调整,不然会提示主机运行不良等警告.

添加如下内容,其他的按需进行设置即可

添加到 /etc/profile 中

16.设置ssh

允许root远程登录

禁用掉ssh的dns查询

开机启动sshd

设置ssh的免密码登录, 此处按照实际需要进行,有一定的系统安全风险性,批量安装的系统能进行root免密码登录.

16.生成当前系统所有安装过的包信息

17.清理当前系统.

18.卸载文件系统,如果还有相关的进程还在运行,则强制kill掉,然后退出当前系统,回到宿主系统中

19.制作定制后的squashfs文件系统.

20.定制自动安装配置

编辑安装界面菜单配置

添加完成后如下( /cdrom/preseed/kernelstudio-ubuntu-server-autoinstall.seed 指定的是自动化安装的配置文件名称以及路径 ),默认自动安装

21. 编辑自动化安装配置

添加完之后如下,可根据需要进行定制

21. 重新生成md5sum文件

22.如果没有其他定制需要的话,则这时候可以生成最终的ISO文件,此时的工作目录还是在 edit下,注意以下命令最后的点(.)号不能丢.

23. 如果从临时文件系统中切换到宿主系统中,需要执行18步,反之从宿主系统中切到临时文件系统中,需要执行第4步以及可选的第5步,制作好的ISO文件可以在此下载 kernelstudio-cdh-5.12.1-ubuntu-server-amd64-16.04.iso

注: 下载制作好的ISO文件,所有的登录密码都为 kernelstudio