Spark, Hadoop, Livy Server,大数据集群环境. 第1部分:集群环境信息说明

一.集群信息

 

1.1 主机/虚拟机/版本配置信息

宿主机 宿主机macOS Sierra 10.12.6 (MacBook Pro 16G/512G)
虚拟机 VirtualBox 5.1.24 r117012
虚拟机操作系统 CentOS 7 x64 5G/2CPU
JDK jdk-8u144-linux-x64
Scala 2.10.6
Hadoop 2.7.4
Spark spark-2.2.0-bin-hadoop2.7
livy Server 0.3.0
Maven 3.5.0

 

1.2 集群集群网络环境

主机名IP地址用户名类型

master 192.168.0.70 cloudsince NameNode,ResourceManager,SecondaryNameNode,Worker,LivyServer
worker1 192.168.0.71 cloudsince DataNode,NodeManager
worker2 192.168.0.72 cloudsince DataNode,NodeManager

 

1.3 目录说明

/data0/app 所有运行的程序(spark,hadoop等)
/data0/bin 执行程序
/data0/etc 配置文件
/data0/lib 第三方lib包以及jar包
/data0/local 第三方或编译的程序
/data0/logs 运行时的日志文件目录(spark,hadoop,tomcat等)
/data0/sbin 自定义shell脚本目录
/data0/var 运行时的产生的文件(spark,hadoop,tomcat等)

No Comments