JVM TI學習(1) 如何中斷weblogic中stuck thread

JPDA(Java Platform Debugger Architecture)是sun推出的一套工具接口，有了這些接口，debugger、profile工具可以attach到target JVM，進而可以監控、調試我們的程序。JPDA包括三部分：JVM TI, JDI, JDWP。TI可以使用native語言，通過調用jvmti.c提供的系列庫函數，實現debug工作，而JDI是TI面向Java開發人員提供的高層開發接口。TI代替了早期的DI，每個版本都做了一定的功能增強。隨著JDK的發展，JPDA變得越發強大，比如thread信息檢查、method調用跟蹤、memory walk-through、perm內存區檢查等，有了這些接口，我們完全可以自己造出類似於：jhat、jmap、jstack、jconsole這樣的車子。用一句過時話來說：JPDA，很好很強大。

在Weblogic中，我們通常能看到像下面這樣的警告信息：

BEA-000337　Feb　1,　2007　11:01:05　AM　EST　Error　WebLogicServer　ExecuteThread:　'14'　for　queue:　'weblogic.kernel.Default'　has　been　busy　for　"72"　seconds　working　on　the　request　"connection82.session95",　which　is　more　than　the　configured　time　(StuckThreadMaxTime)　of　"60"　seconds.

這樣的信息只是一個提示，告訴最終用戶某個執行線程執行了多長時間（只有執行時間超過StuckThread-MaxTime，默認600秒），用戶可以根據這些信息，分析對應的請求執行了這麼長時間是否正常，如果在預期或可以接受范圍內，不用作任何干預，否則我們需要借助於thread dump分析執行時間的瓶頸。出現這樣的警告信息，weblogic不會對這樣的線程作任何操作（weblogic無法識別這麼長的執行時間是不是用戶所預期的，比如報表操作、文件傳輸等本身可能就很耗時），直到線程結束。線程能執行結束還好，如果是死鎖呢？這樣的線程會一直被掛著，直到weblogic重啟。重啟對於很多生產系統而言是最後的選擇，那麼我們有什麼方法來避免重啟呢？ Weblogic9以後，線程管理方面work manager代替了早期的thread pool，而且work manager提供了stuck thread的管理，比如出現幾個stuck thread後，我們可以要求work manager停止應用，避免更多的線程被stuck。weblogic停止應用只是不提供服務，但還是不會影響正在執行的線程。

曾經不止一次的被客戶問道我們能否中斷這樣的線程，從weblogic層面來看，這是mission impossible。現在有了TI，我們可以通過它中斷這樣的線程。

要中斷這樣的線程，首先要借助thread dump拿到線程名，我們將以線程名為filter。Thread dump信息如下：

"[ACTIVE]　ExecuteThread:　'2'　for　queue:　'weblogic.kernel.Default　(self-tuning)'"　daemon　prio=6　tid=0x2b25a800　nid=0x3c0　waiting　on　condition　[0x2e08f000..0x2e08fa14]
java.lang.Thread.State:　TIMED_WAITING　(sleeping)
at　java.lang.Thread.sleep(Native　Method)

......

上面這個線程的名字就是：[ACTIVE] ExecuteThread: '2' for queue: 'weblogic.kernel.Default (self-tuning)'

為了能正確的attach上JVM，啟動的時候需要加上如下的JAVA_OPTIONS，

-Xdebug -Xrunjdwp:transport=dt_socket,address=9191,server=y,suspend=n

現在我們就可以下面的方法attach到target JVM,

　1　　　　　private　VirtualMachine　connectVM(){
2　　　　　　　　　　　　　VirtualMachineManager　vmm　=　Bootstrap.virtualMachineManager();
3　　　　　　　　　　　　　List　connectors　=　vmm.attachingConnectors();
4　　　　　　　　　　　　　Connector　conn　=　null;
5　　　　　　　　　　　　　AttachingConnector　socketAttachingConnector　=　null;
6　　　　　　　　　　　　　/*
7　　　　　　　　　　　　　*　host　and　port　should　be　set　here
8　　　　　　　　　　　　　*/
9.
10　　　　　　　try{
11　　　　　　　　　　　vm　=　socketAttachingConnector.attach(arguments);
12　　　　　　　}catch(Exception　e){
13　　　　　　　　　　　e.printStackTrace();
14　　　　　　　}
15　　　　　　　return　this.vm;
16　　　　　}

有了線程名、connection，我們就可以用下面的方法去中斷掛死線程了，

1　　　　　public　void　terminateThread(String　threadPattern){
2　　　　　　　　　if(vm　!=　null){
3　　　　　　　　　　　　　List　threads　=　vm.allThreads();
4　　　　　　　　　　　　　ThreadReference　tr　=　null;
5　　　　　　　　　　　　　int　loop　=　-1;
6　　　　　　　　　　　　　for(loop=0;　loop<threads.size();　loop++){
7　　　　　　　　　　　　　　　　　if(tr.toString().indexOf(threadPattern)　!=　-1){
8　　　　　　　　　　　　　　　　　　　　　tr.interrupt();
9　　　　　　　　　　　　　　　　　　　　　System.out.println(threadPattern　+　"　is　terminated!");
10　　　　　　　　　　　　　　　　　　　　　break;
11　　　　　　　　　　　　　　　　　}
12　　　　　　　　　　　　　}
13　　　　　　　　　　　　　if(loop　==　threads.size())
14　　　　　　　　　　　　　　　　　System.out.println("no　matched　thread　was　found　in　target　VM!");
15　　　　　　　　　}
16　　　　　}

線程被中斷的時候，會收到InterruptedExcetpion，比如我在測試中讓線程sleep，然後利用上面的程序去中斷sleep，收到的異常如下：

java.lang.InterruptedException:　sleep　interrupted
at　java.lang.Thread.sleep(Native　Method)
at　test.jpda.clazz.Test2.run(Test2.java:14)
at　test.jpda.clazz.Test1.run(Test1.java:10)
at　test.jpda.clazz.Test.run(Test.java:9)
at　jsp_servlet.__index._jspService(__index.java:91)
at　weblogic.servlet.jsp.JspBase.service(JspBase.java:34)
at　weblogic.servlet.internal.StubSecurityHelper$ServletServiceAction.run(StubSecurityHelper.java:227)
at　weblogic.servlet.internal.StubSecurityHelper.invokeServlet(StubSecurityHelper.java:125)
at　weblogic.servlet.internal.ServletStubImpl.execute(ServletStubImpl.java:292)
at　weblogic.servlet.internal.ServletStubImpl.execute(ServletStubImpl.java:175)
at　weblogic.servlet.internal.WebAppServletContext$ServletInvocationAction.ru(WebAppServletContext.java:3498)
at　weblogic.security.acl.internal.AuthenticatedSubject.doAs(AuthenticatedSubject.java:321)
at　weblogic.security.service.SecurityManager.runAs(Unknown　Source)
at　weblogic.servlet.internal.WebAppServletContext.securedExecute(WebAppServletContext.java:2180)
at　weblogic.servlet.internal.WebAppServletContext.execute(WebAppServletContext.java:2086)
at　weblogic.servlet.internal.ServletRequestImpl.run(ServletRequestImpl.java:1406)
at　weblogic.work.ExecuteThread.execute(ExecuteThread.java:201)
at　weblogic.work.ExecuteThread.run(ExecuteThread.java:173)

注意：線程名一定不能寫錯啊，否則就可能誤殺了，老板批你別怨俺。