Spark, Hadoop, Livy Server,大数据集群环境. 第1部分：集群环境信息说明
一.集群信息
1.1 主机/虚拟机/版本配置信息
| 宿主机 | 宿主机macOS Sierra 10.12.6 (MacBook Pro 16G/512G) |
| 虚拟机 | VirtualBox 5.1.24 r117012 |
| 虚拟机操作系统 | CentOS 7 x64 5G/2CPU |
| JDK | jdk-8u144-linux-x64 |
| Scala | 2.10.6 |
| Hadoop | 2.7.4 |
| Spark | spark-2.2.0-bin-hadoop2.7 |
| livy Server | 0.3.0 |
| Maven | 3.5.0 |
1.2 集群集群网络环境
主机名IP地址用户名类型
| master | 192.168.0.70 | cloudsince | NameNode,ResourceManager,SecondaryNameNode,Worker,LivyServer |
| worker1 | 192.168.0.71 | cloudsince | DataNode,NodeManager |
| worker2 | 192.168.0.72 | cloudsince | DataNode,NodeManager |
1.3 目录说明
| /data0/app | 所有运行的程序(spark,hadoop等) |
| /data0/bin | 执行程序 |
| /data0/etc | 配置文件 |
| /data0/lib | 第三方lib包以及jar包 |
| /data0/local | 第三方或编译的程序 |
| /data0/logs | 运行时的日志文件目录(spark,hadoop,tomcat等) |
| /data0/sbin | 自定义shell脚本目录 |
| /data0/var | 运行时的产生的文件(spark,hadoop,tomcat等) |
No Comments