Spark, Hadoop, Livy Server,大数据集群环境. 第1部分:集群环境信息说明

一.集群信息

 

1.1 主机/虚拟机/版本配置信息

宿主机宿主机macOS Sierra 10.12.6 (MacBook Pro 16G/512G)
虚拟机VirtualBox 5.1.24 r117012
虚拟机操作系统CentOS 7 x64 5G/2CPU
JDKjdk-8u144-linux-x64
Scala2.10.6
Hadoop2.7.4
Sparkspark-2.2.0-bin-hadoop2.7
livy Server0.3.0
Maven3.5.0

 

1.2 集群集群网络环境

主机名IP地址用户名类型

master192.168.0.70cloudsinceNameNode,ResourceManager,SecondaryNameNode,Worker,LivyServer
worker1192.168.0.71cloudsinceDataNode,NodeManager
worker2192.168.0.72cloudsinceDataNode,NodeManager

 

1.3 目录说明

/data0/app所有运行的程序(spark,hadoop等)
/data0/bin执行程序
/data0/etc配置文件
/data0/lib第三方lib包以及jar包
/data0/local第三方或编译的程序
/data0/logs运行时的日志文件目录(spark,hadoop,tomcat等)
/data0/sbin自定义shell脚本目录
/data0/var运行时的产生的文件(spark,hadoop,tomcat等)

No Comments

    Time limit is exhausted. Please reload the CAPTCHA.