Spark, Hadoop, Livy Server,大数据集群环境. 第1部分:集群环境信息说明
一.集群信息
1.1 主机/虚拟机/版本配置信息
宿主机 | 宿主机macOS Sierra 10.12.6 (MacBook Pro 16G/512G) |
虚拟机 | VirtualBox 5.1.24 r117012 |
虚拟机操作系统 | CentOS 7 x64 5G/2CPU |
JDK | jdk-8u144-linux-x64 |
Scala | 2.10.6 |
Hadoop | 2.7.4 |
Spark | spark-2.2.0-bin-hadoop2.7 |
livy Server | 0.3.0 |
Maven | 3.5.0 |
1.2 集群集群网络环境
主机名IP地址用户名类型
master | 192.168.0.70 | cloudsince | NameNode,ResourceManager,SecondaryNameNode,Worker,LivyServer |
worker1 | 192.168.0.71 | cloudsince | DataNode,NodeManager |
worker2 | 192.168.0.72 | cloudsince | DataNode,NodeManager |
1.3 目录说明
/data0/app | 所有运行的程序(spark,hadoop等) |
/data0/bin | 执行程序 |
/data0/etc | 配置文件 |
/data0/lib | 第三方lib包以及jar包 |
/data0/local | 第三方或编译的程序 |
/data0/logs | 运行时的日志文件目录(spark,hadoop,tomcat等) |
/data0/sbin | 自定义shell脚本目录 |
/data0/var | 运行时的产生的文件(spark,hadoop,tomcat等) |
No Comments