磁盘故障引起的系统变慢定位

磁盘故障引起的系统变慢定位

OS :solaris 10

DBMS:Oracle 10.2.0.3.0
 
Canada 某运营商报系统运行变的异常慢，造成数据积压。
 
先出个awr 报告

log file sync                        45,755      33,981    743  59.7    Commit
 CPU time                                        14,009          24.6
 db file parallel write              63,119      11,374    180  20.0 System I/O
 db file sequential read            736,650      3,692      5    6.5  User I/O
 log file parallel write              9,148      3,081    337    5.4 System I/O
 

绝大部分为IO引起的。
 
先检查 log日志情况
 
select * from v$logfile;
 
有64个50m的在线日志组。明显不合理先
 
增加5个2g  的日志组\
 
alter databae add logfile group 66 '/filepath/redolog66.log' size 2g;
 
.
 
alter database drop logfile group 1;
 alter database drop logfile group 2;
 ..
 
alter database drop logfile group 64;
 alter database drop logfile group 65;
 
观察问题仍然存在。
 
比较幸运的是找到了一个前个月的awr 报告，一比较负载远不如从前。
 
观察系统IO情况
 
device    r/s    w/s  kr/s  kw/s wait actv  svc_t  %w  %b

md0      0.0    0.0    0.0    0.0  0.0  0.0    0.0  0  0

md1      0.0    0.0    0.0    0.0  0.0  0.0    0.0  0  0

md3      0.0    0.0    0.0    0.0  0.0  0.0    0.0  0  0

md5      0.0    0.0    0.0    0.0  0.0  0.0    0.0  0  0

md10      0.0    0.0    0.0    0.0  0.0  0.0    0.0  0  0

md11      0.0    0.0    0.0    0.0  0.0  0.0    0.0  0  0

md13      0.0    0.0    0.0    0.0  0.0  0.0    0.0  0  0

md15      0.0    0.0    0.0    0.0  0.0  0.0    0.0  0  0

md20      0.0    0.0    0.0    0.0  0.0  0.0    0.0  0  0

md21      0.0    0.0    0.0    0.0  0.0  0.0    0.0  0  0

md23      0.0    0.0    0.0    0.0  0.0  0.0    0.0  0  0

md25      0.0    0.0    0.0    0.0  0.0  0.0    0.0  0  0

sd0      0.0    0.2    0.0    0.1  0.0  0.0    3.9  0  0

sd1      0.0    0.2    0.0    0.1  0.0  0.0    4.2  0  0

sd2      0.0    0.0    0.0    0.0  0.0  0.0    0.0  0  0

sd3      0.0    0.0    0.0    0.0  0.0  0.0    0.0  0  0

sd4      0.0    0.0    0.0    0.0  0.0  0.0    0.0  0  0

ssd5    13.0  106.0  126.4 847.7  0.0  1.8  15.4  0 100

ssd6      0.0    3.4    0.0    1.8  0.0  0.1  34.0  0  2

ssd7      0.0    0.0    0.0    0.0  0.0  0.0    0.0  0  0

ssd8      0.0    0.0    0.0    0.0  0.0  0.0    0.0  0  0

ssd9      0.0    0.0    0.0    0.0  0.0  0.0    0.0  0  0

nfs1      0.0    0.0    0.0    0.0  0.0  0.0    0.0  0  0
 

每秒的写出只有840k左右，这远不是一磁阵的应有的性能表现
 
但是cp 一个大文件性能和读的性能却还可以。通知前线同事先检查一下设备情况
 
磁阵的cache 特性，我会在其它的日志介绍.
 
反馈是cache 的电池已过期，cache 禁用。协调更换电池。
 
end!