Oracle 11gR2修改用户后导致系统HANG住


【背景】今天中午的时候用户反馈需要修改数据库的和应用的连接密码，修改密码这种小事情，本以为不会不会出现问题的。没想到午休到一半的时候就接到用户的电话，系统连接不进去了。

【环境】

  • 操作系统 linux6.3_64 
  • 数据库版本11.2.0.3

【症状】用户修改密码之后通过应用连接一直连接不上，我登录主机通过sqlplus连接的时候，也是一直处于hang住状态，但是sys、system用户进行连接的时候速度就很快；

[Oracle@ekpdbtest ~]$ sqlplus / as sysdba  (数据库可以正常登录） 

SQL*Plus: Release 11.2.0.1.0 Production on Fri Apr 10 17:37:42 2015 

Copyright (c) 1982, 2009, Oracle.  All rights reserved. 

Connected to:
Oracle Database 11g Enterprise Edition Release 11.2.0.1.0 - 64bit Production
With the Partitioning, OLAP, Data Mining and Real Application Testing options 

SQL>     

SQL> conn sale/oracle （HANG住了）

【备注】操作系统的CPU、内存、网络、磁盘空间都没有发现异常；

1、查看等待事件

通过查看awr报告，library cache lock等待严重

                                                          wait  % DB         
Event                                Waits    Time(s)  (ms)  time Wait Class
------------------------------ ------------ ----------- ------ ------ ----------
library cache lock                      866    145,056 2.E+05  92.0 Concurrenc
row cache lock                          195      9,155  46948    5.8 Concurrenc

2、恢复用户到修改前的密码

SQL> conn sale/sale  （可以登录）

【问题原因】经过一番查找发现该问题属于ORACLE 11的一个新特性，如果一个用户使用不正确的密码尝试登录数据库，那么随着登录失败次数的增加，每次登录验证前延迟等待的时间也会增加。这个特性主要用于避免一些程序采用错误的密码进行尝试性的登录；所有这一切都已经说明，当前有一个或多个中间件服务器在使用错误的密码连接数据库，由于密码延迟验数据证的策略，导致所有后续的连接都被HANG住。

用户的环境是怎么触发这个特性的了？

用户的环境中，连接数据库不仅有应用层，还有一些【地磅系统】，这些系统直接连接数据库，所以虽然更改了应用的密码，但是地磅系统由于数量众多且修改麻烦，所以应用的连接密码修改后，地磅系统的连接密码并没有改，所以一直在用错误的密码进行登录，而触发了【密码延迟验证导致的系统HANG住】

【解决方法】这个性特性可以提供系统的安全性，但同时也引入了bug，Oracle最强大之处就在于几乎所有的功能和特性都有对应的开关，通过设置EVENTS 28401可以屏蔽密码延迟验证，重启数据库后解决。

SQL> ALTER SYSTEM SET EVENT = ‘28401 TRACE NAME CONTEXT FOREVER, LEVEL 1’ SCOPE = SPFILE;
 

【总结】暂时性的关闭这个特性，然后再逐步修改每个系统的密码，又化解了一次危机；

相关内容