hbase运维监控常见问题.pdfVIP

1HBase日常运维

1.1HBase运行状况

1.1.1操作系统

IO

a.群集网络IO，磁盘IO，HDFSIO

IO越大说明文件读写操作越多。当IO突然增加时，有可能：

1.compact队列较大，集群正在进行大量合并操作。

2.正在执行mapreduce作业

通过可视化管理平台进行的硬件指标

b.Iowait

磁盘IO对集群的影响比较大，如果iowait时间过长需检查

系统或磁盘是否有异常。通常IO增加时iowait也会增加。

rrqm/s:每秒进行merge的读操作数目。即delta(rmerge)/s

wrqm/s:每秒进行merge的写操作数目。即delta(wmerge)/s

r/s:每秒完成的读I/O设备次数。即delta(rio)/s

w/s:每秒完成的写I/0设备次数。即delta(wio)/s

rsec/s:每秒读扇区数。即delta(rsect)/s

wsec/s:每秒写扇区数。即delta(wsect)/s

rKB/s:每秒读K字节数。是rsec/s的一半，因为每扇区大小为512字节wKB/s:每秒写K

字节数。是wsec/s的一半

avgrq-sz:平均每次设备I/O操作的数据大小(扇区)。即

delta(rsect+wsect)/delta(rio+wio)

avgqu-sz:平均I/O队列长度。即delta(aveq)/s/1000(因为aveq的单位为毫秒)

await:平均每次设备I/O操作的等待时间(毫秒)。即delta(ruse+wuse)/delta(rio+wio)

svctm:平均每次设备I/O操作的服务时间(毫秒)。即delta(use)/delta(rio+wio)

%util:一秒中有百分之多少的时间用于I/O操作,或者说一秒中有多少时间I/O队列是非空

的。即delta(usr)/s/1000(因为use的单位为毫秒)

如果%util接近100%,说明产生的I/O请求太多,I/O系统已经满负载,该磁盘可能存在瓶

颈。

比较重要的参数

%util:一秒中有百分之多少的时间用于I/O操作，或者说一秒中有多少时间I/O队列是非

空的

svctm:平均每次设备I/O操作的服务时间

await:平均每次设备I/O操作的等待时间

avgqu-sz:平均I/O队列长度

如果%util接近100%,表明I/O请求太多,I/O系统已经满负荷，磁盘可能存在瓶颈,一

般%util大于70%,I/O就比较大，速度有较多的wait。

同时可以结合vmstat查看查看b参数(等待资源的进程数)和wa参数(I/O等待所占用的

CPU时间的百分比,高过30%时I/O高)

await的大小一般取决于服务时间(svctm)以及I/O队列的长度和I/O请求的发出模式。如

果svctm比较接近await,说明I/O几乎没有等待时间;如果

await远大于svctm,说明I/O队列太长，应用得到的响应时间变慢

CPU

如果CPU占用过高有可能是异常情况引起集群资源消耗，可以通

过其他指标和日志来查看集群正在做什么。

内存