大数据平台监控界面和报表

目录

1. 实验一：通过界面监控大数据平台运行状态

1.1. 实验目的

1.2. 实验要求

1.3. 实验环境

1.4. 实验过程

1.4.1. 实验任务一：通过界面查看大数据平台状态

1.4.2. 实验任务二：通过界面查看Hadoop状态

2. 实验二 通过界面监控大数据平台资源状态

2.1. 实验目的

2.2. 实验要求

2.3. 实验环境

2.4. 实验过程

2.4.1. 实验任务一：通过界面监控YARN的状态

2.4.2. 实验任务二：通过界面监控HDFS状态

2.4.3. 实验任务三：通过界面监控HBase的状态

实验一：通过界面监控大数据平台运行状态

实验目的

完成本实验，您应该能够：

• 掌握通过界面查看大数据平台运行状态
• 掌握分析和理解大数据平台运行状态参数

实验要求

• 熟悉通过界面查看大数据平台运行状态
• 熟悉分析和理解大数据平台运行参数

实验环境

本实验所需之主要资源环境如表1-1所示。

表1-1 资源环境

实验过程

实验任务一：通过界面查看大数据平台状态

通过大数据平台Hadoop的用户界面可以查看平台的计算资源和存储资源。打开http://master:8088/cluster/nodes 页面，可以查看大数据平台的状态汇总信息，如图14-1所示。

{width="5.768055555555556in"
height="3.1347222222222224in"}

图14-1查看集群节点的信息

如图14-1所显示，集群中，内存总计16GB，虚拟核数总计16个，活动节点2个；集群中，包含三台主机，主机名分别为master、slave1和slave2。

实验任务二：通过界面查看Hadoop状态

大数据平台Hadoop提供了一个简单的web访问接口，网址是http://master:50070，可以查看Hadoop的运行状态，主菜单包含状态总览、数据节点、挂载失败节点、快照、日记等状态，如图14-2所示。

{width="5.768055555555556in"
height="3.029166666666667in"}

图14-2 Hadoop菜单界面

通过上图我们很容易获知Hadoop的运行状态，菜单功能如下：

（1）Overview（总览），查看Hadoop启动时间、版本号、命名节点日志状态、命名节点存储状态等信息；

（2）Datanodes（数据节点），查看正在运行、停止运行的数据节点信息；

（3）DataNode Volume
Failures（数据节点挂载失败），查看挂载失败的数据节点；

（4）Snapshot（快照），查看快照建立、删除的信息；

（5）Startup Progress（启动进程），查看启动进程信息；

（6）Browse The File System（文件系统浏览），查看HDFS中的文件和文件夹；

（7）Logs（日记），查看Hadoop的命名节点、资源管理等日志。

查看Hadoop的详细汇总信息如图14-3 所示。

{width="5.136111111111111in"
height="6.3in"}

图14-3 大数据平台Hadoop状态汇总信息

通过图14-3 可以了解Hadoop的相关信息。

1、OverView（概况）

通过OverView（概况）信息显示如表14-2所示。

表14-2 Hadoop概况参数

2.Summary（概要）

在Summary中的结果显示，Security（安全状态）和SafeMode（安全模式）处于关闭状态；HDFS的Configured
Capacity（存储空间配置）容量为73.95GB，空闲空间（DFS Remaining）为68.96
GB；还显示了名称节点日志状态（Journal Manager
State）和名称节点存储（NameNode Storage）的具体路径等。

实验二 通过界面监控大数据平台资源状态

实验目的

完成本实验，您应该能够：

• 掌握通过界面查看大数据平台资源运行状态
• 掌握分析和理解大数据平台资源运行状态参数

实验要求

• 熟悉通过界面查看大数据平台资源运行状态
• 熟悉分析和理解大数据平台资源运行参数

实验环境

本实验所需之主要资源环境如表1-1所示。

表1-1 资源环境

实验过程

实验任务一：通过界面监控YARN的状态

在配置好Hadoop集群之后，可以通过浏览器登录"http://master:8088"，查询YARN的状态，如图14-4
所示。

{width="5.768055555555556in"
height="2.5555555555555554in"}

图14-4 YARN状态查询

从上图可以获知YARN的内存总额16GB、虚拟核心16个、活动节点2个等相关信息。

在大数据平台Hadoop中查看MapReduce运行日志，登录http://master:8088/logs/，显示如图14-5。

{width="5.768055555555556in" height="3.81875in"}

图14-5 查看MapReduce运行状态

注意:查看mapreduce日志需要先启动jobhistory进程

启动： 在hadoop用户下执行

[hadoop@master ~]$ cd /usr/local/src/hadoop/sbin

[hadoop@master sbin]$ ./mr-jobhistory-daemon.sh start historyserver

查看MapReduce运行状态，登录http://master:8088/cluster，如图14-6所示。

{width="5.768055555555556in"
height="2.2909722222222224in"}

图14-6 查询MapReduce的任务

选择其中一个任务，查看任务状态，如图14-7 所示。

{width="5.768055555555556in"
height="2.6381944444444443in"}

图14-7 查看MapReduce任务状态

实验任务二：通过界面监控HDFS状态

在配置好Hadoop集群之后，可以通过浏览器登录"http://master:50070"访问HDFS文件系统，点击Utilities-->Browse
The File Systerm，如图14-8 所示。

{width="5.768055555555556in"
height="3.0319444444444446in"}

图14-8 HDFS文件系统状态查询

从上图中可以看到HDFS目录中的文件夹和文件，并显示文件属性、大小、和修改日期等信息。

HDFS文件夹打开和文件下载操作如下：

1.打开文件夹

在地址栏中输入hbase名称，点击"Go！"按钮或者直接回车，打开相应的文件夹，如下图14-9所示：

{width="5.768055555555556in"
height="1.4659722222222222in"}

图14-9 输入文件夹名称HBase

显示目标文件夹中的文件和文件夹如图14-10所示。

{width="5.768055555555556in" height="3.2375in"}

图14-10 显示HBase中的文件和文件夹

2.下载HDFS中的文件

点击需要下载的文件，如hbase.id文件，如图14-11所示：

{width="5.768055555555556in"
height="3.4006944444444445in"}

图14-11 下载HDFS中的文件

出现下载对话框，如图14-12所示，点击"Download"，即下载目标文件到本地文件夹。

{width="4.614583333333333in"
height="4.635416666666667in"}

图14-12 下载文件对话框

实验任务三：通过界面监控HBase的状态

安装部署好HBase后，可以通过用户界面来访问HBase的状态、日记等相关信息。访问Web
用户界面地址分别为：master：60010 ；slave1：60010 ；slave2:60010 。

1.HBase用户界面主页

HBase的主页访问地址为http://master:60010，如图14-13所示。

{width="5.313888888888889in"
height="7.117361111111111in"}

图14-13 HBase的用户界面主页

HBase的用户主界面菜单有Table Details（表信息）、Local
Logs（本地日志）、Log Level（日记等级）、Debug Dump（调试转储）、Metrics
Dump（指标转储）、HBase Configuration（HBase配置）。

图14-13中，Region
Servers（区域服务器群）中可以查看主机状态、内存、请求、存储文件和压缩情况等；列表中共有三台主机，主机名分别为master、slave1和slave2，如点击master主机，可以查看该主机详细指标信息，如图14-14所示。

{width="5.597916666666666in" height="1.76875in"}

图14-14 查看Master主机详细指标

查看HBase里面的表信息，点击的菜单栏 Table Details
可查看所有表信息，如图14-15所示。

{width="5.639583333333333in"
height="1.8243055555555556in"}

图14-15 查看HBase表信息

在 Tables 中点击 System Tables
查看系统表，主要是元数据、命名空间，如图14-16所示。

{width="5.696527777777778in"
height="2.129861111111111in"}

图14-16 查看系统表的信息