Cloudera CDH 大数据集成环境搭建,第一部分: 制作 Ubuntu 16.04 xenial cloudera CDH 5.12.1可安装ISO镜像文件
一.集群信息 1.1 主机/虚拟机/版本配置信息 宿主机 宿主机macOS Sierra 10.12.6 (MacBook Pro 16G/512G) 虚拟机 VirtualBox 5.1.24 r117012 虚拟机操作系统 CentOS 7 x64 5G/2CPU JDK jdk-8u144-linux-x64 Scala 2.10.6 Hadoop 2.7.4 Spark spark-2.2.0-bin-hadoop2.7 livy Server 0.3.0 Maven 3.5.0 1.2 集群集群网络环境 主机名IP地址用户名类型 master 192.168.0.70 cloudsince NameNode,ResourceManager,SecondaryNameNode,Worker,LivyServer worker1 192.168.0.71 cloudsince DataNode,NodeManager worker2 192.168.0.72 cloudsince DataNode,NodeManager 1.3 目录说明 /data0/app 所有运行的程序(spark,hadoop等) /data0/bin 执行程序 /data0/etc 配置文件 /data0/lib 第三方lib包以及jar包 /data0/local 第三方或编译的程序 /data0/logs 运行时的日志文件目录(spark,hadoop,tomcat等) /data0/sbin 自定义shell脚本目录 /data0/var 运行时的产生的文件(spark,hadoop,tomcat等)