簡介：本文深入地介紹了利用 IBM® Rational® Quality Manager (RQM) 進行測試分析和生成報表，並且涵蓋了測試經理可能提出的常見問題。您還可以了解到如何使用 RQM 輔助您對測試工程進行定性和定量分析，並提供分析數據。
IBM® Rational® Quality Manager 是為完整的軟件開發生命周期提供集成的測試計劃和測試資產的協作的，基於 Web 的質量管理軟件。Rational Quality Manager 基於 Jazz™ 平台，並且可以被任何規模的測試團隊使用。它支持各種各樣的用戶角色，例如，測試經理、測試架構師、測試領導、測試人員，和實驗室經理，以及測試組織之外的角色。
本文深入地介紹了利用 IBM Rational Quality Manager 進行測試分析和報告，並且涵蓋了測試經理可能提出的普遍問題。您還會了解到如何使用為了輔助您對測試工程進行定性定量分析而提供的數據。
報告的計劃
就像使用任何工具一樣，您從 Rational Quality Manager 中獲得的信息僅僅與您輸入的內容一樣好。當您考慮您的公司、項目，以及您需要報告的信息時，還要考慮您需要如何安裝並使用 Rational Quality Manager 來獲得該信息。問自己以下這些問題：
我們計劃進行多少測試，以及我們已經做了多少？
剩下什麼潛在的測試，以及在哪些方面？
我們當前的測試的創建速度是多少，以及在項目過程中曾經是多少？創建速度如何跨測試區域或者測試用例優先級？
我們當前的測試的執行速度是多少，以及在項目過程中曾經是多少？執行速度如何跨測試區域或者測試用例優先級突發？
我們有多少測試是專注於基本功能的（基本需求，主要功能，簡單數據），而不是公共的用例（用戶、場景、基本數據、狀態，和錯誤覆蓋率），而不是壓力測試（強大的數據、狀態、錯誤覆蓋率、加載，以及限定的環境）？
我們有多少測試是專注於性能，而不是其他類型的質量標准（性能、安全性、可伸縮性、可測試性、可維護性，等等）？
我們覆蓋了多少需求，以及我們覆蓋了多少代碼？
如果是可應用的，那麼我們涵蓋的平台和配置是什麼？
我們找到了多少問題，他們的安全性是什麼，我們在哪裡找到的，以及我們如何找到它們？
Rational Quality Manager 不會回到所有這些問題，但它可以解決其中的許多問題，並且它可以提供一些回答其他問題所需的信息。
設立並管理您的需求
在許多公司，需求覆蓋或需求可溯性是測試過程的大焦點。有時候，是要支持受管制行業中的應用程序開發需求。其他時候，是測定團隊是否做了足夠的測試的標准。不管您為什麼對需求覆蓋感興趣，如果您希望 Rational Quality Manager 可以在此方面提供幫助，那麼您就要設立您需要做的工作。
管理並追溯需求
如果在外部工具中管理您的需求，例如 IBM® Rational® RequisitePro®，那麼您可以將該需求鏈接到測試計劃中。如果您沒有使用外部工具，那麼您需要在測試計劃中管理需求。不論什麼情況，當您進入了需求之後，您可以將它們與測試用例相關聯，從而將測試腳本一直追溯到您的需求。
當需求變更或刪除時，Rational Quality Manager 中需求的狀態被更新為顯示最新的狀態。包含變更或刪除的需求的測試用例被標記了，以便您可以快速並且准確地調整測試計劃和測試用例，從而響應需求變更。
評定安全性等級
當您有許多針對應用程序中甚至最小的功能的測試時，很難向項目團隊說明您在獲得什麼類型的覆蓋率。即使當談論需求覆蓋（一種可能的量度）時，知道哪些需求比其他的更重要也是有幫助的，這樣您就可以適當地計劃測試。較高的安全性需求可能保證更多的測試用例，或者被更多測試人員的回顧，或者更詳細的測試文檔。
了解需求的安全性可以讓您回答特定的問題，舉例來說：
相對於低安全性需求來說，我們涵蓋的高安全性需求的百分比是多少？
相對於其他領域，我們針對那些需求所擁有的測試用例有多少？
我們在哪裡找到缺陷？（在高安全性需求的測試用例中或其他地方？）
首先，您可能想要用一些時間來為需求定義安全性方案，然後視圖確保您遵照該方案。這不僅在確保您專注於正確的事情上是有用的，而且還在您完成項目後考慮不斷的改進時是有用的。圖 1 LINK 顯示了為需求設置安全性等級的實例。
使用標簽
除了安全性，每個需求包含一個 Tags 字段。Tags 是可以幫助您管理測試的關鍵字。您可以使用它們來將需求、測試用例，以及缺陷按應用程序的不同區域，以及測試的不同類型分類。舉例來說（不管用什麼工具）：
應用程序的區域：核心平台、報告、客戶端界面、內部工具、外部工具、語音，等等
質量標准：功能性、可用性、安全性、性能、兼容性、可測試性、可支持性，等等
利用 Rational Quality Manager，您可以用自己的關鍵字給需求設定標簽。這可以讓您能夠生成報告，從而回答以下這樣的問題：
多少測試用例是用於 報告（或另一個方面）？
多少需求規定了安全性測試（或者另一個質量標准）？
專注於功能性，安全性，性能上的需求百分比是多少？
這些向您展示了您在哪裡用去了測試時間，以及您正在尋找什麼類型的關注點。您可以參見圖 1 中為需求定義標簽的實例。
圖 1. 在需求中使用 Severity 和 Tags 的實例
設立並管理測試用例
另一個您可以在其中做一些最先的工作，從而在後面獲得很大好處的關鍵區域是在您的測試用例中。測試用例中有兩個重要的區域可以幫助您管理您的測試：
測試用例的權重，它慮及了更多粒度的誠實的結果報告，因而提高了數據結果的價值
測試用例的范疇，像標簽那樣，讓您能夠為更詳細的報告將測試用例拆分
指定測試用例的權重
當您創建測試案例時，您可以選擇向測試用例分配權重。這背後的思想是並非所有的測試用例都是相等的 —— 一些比其他的更重要。IBM 建議使用 1 到 100 的范圍。當您運行測試時，您可以使用權重來分配您的結果。如果測試“稍稍”通過（舉例來說，一些部分沒有完全工作，或者在某些配置下不工作，而在其他配置下工作），那麼您可以通過使用權重滑尺來表達 70% 通過而 30% 失敗。權重 1 是不可能的。參見圖 2，定義測試用例權重的實例。
權重 概念是 Rational Quality Manager 中的重要特性。它超越了“通過”或“失敗”限定詞的范疇。運行一個測試用例或許可證（不是自動的）而說其 100% 通過是不尋常的。在過去，您沒法選擇說“很好，大部分 可以工作，但有一些問題”。現在，通過指定測試用例的權重，您就可以了。
分配測試用例范疇
就像對於需求的標簽一樣，測試用例的范疇對於切割測試數據以便決定到底發生了什麼來說是無價的。您有三個默認的選擇：Category、Function，和 Theme，並且您可以添加、刪除，或編輯它們。在默認的安裝中，這些下拉菜單可能是空的。然而，有很多空間可以向其中添加值（作為 Admin，或者簡單地單擊在測試計劃和測試用例中的“Manage Test Case Categories”圖標）。
就像對需求那樣，您可以使用 范疇 和 功能 來指定 在哪裡 測試（舉例來說，報告、核心平台、語音、內部工具、外部工具，或管理）並且用 主題 來指定為什麼測試（功能、性能、安全性、可測試性、可支持性，或可伸縮性，等等）。您可以按您希望的方式定義它們，但要考慮如何劃分測試工作，以及您想要如何對結果進行報告。之後，您可以使用這些字段從應用程序的不同區域以及不同類型的測試來比較並對比覆蓋率和結果。圖 2 顯示了使用測試用例范疇的實例。
圖 2. 定義測試用例范疇、功能、主題，和權重
使用測試計劃工具來追蹤進度
報告測試進度有時候是測試結果的分析，有時候是對高層次的裡程碑、狀態門，或進入和退出標准。這是 Rational Quality Manager 的測試計劃特性起作用的地方。不應該令人驚奇的是，追蹤和報告測試進度的一個重要的工具之一是測試計劃。Rational Quality Manager 中包含的默認的測試計劃模板提供了幫助您了解測試項目在哪，以及幫助您與其他人交流測試項目的許多特性。
追蹤需求
如早先詳細的介紹，Rational Quality Manger 有許多幫助您管理需求覆蓋率的需求特性。在測試計劃中，有一個用於管理您將在已知的測試計劃中涵蓋的所有需求的 Requirements 部分（參見圖 3）。這是有幫助的，因為即使您是在不同的工具中管理您的應用程序需求，並且您僅僅將它們導入 Rational Quality Manager，您都可以在您的計劃中定義 您 自己的 測試需求。
圖 3. 測試計劃中的需求的實例
看到大的功能需求覆蓋率是不尋常的（該應用程序應該做 X，但它不應該做 Y），但也沒有對異常功能的需求。這不意味著我們不測試它們。我們要測。但是，根據狀態和覆蓋率總是很難追蹤該測試在哪裡。通過創建您自己的需求，您可以添加性能、安全性、可用性，及經常被忽略的其他領域的需求。您可以將測試用例與那些需求相聯系，從而追蹤覆蓋率和狀態。
追蹤測試環境
如果您的應用程序有任意類型的配置測試（支持多種硬件平台、操作系統、浏覽器、與其他廠商或程序的集成，或者另一個配置設置），那麼就從容地在 Rational Quality Manager 中設立測試環境。在測試計劃的 Test Environments 部分中（如圖 4 所示），您可以指定您實際的測試環境，以及平台覆蓋率。
圖 4. 測試計劃的測試環境部分中的平台覆蓋率的實例
測試環境描述中顯示在測試中要使用硬件和軟件平台的組合。這通常不是詳細的清單，因為它不是總能夠覆蓋所有內容。但當是時候運行測試時，如果您適當地設置了每樣東西，那麼看到哪些平台或配置您已經或還沒測試就比較容易了。在 Rational Quality Manager 中，特別是使用 Rational Test Lab Manager 附件時，測試環境與實際的測試運行是相關聯的。
追蹤質量目標
如同您可能從以前的表述中了解到的，項目有時候會壓倒性地專注於需求覆蓋率，並且大部分需求（99% 或者更多）與功能相關。很遺憾，因為由於此焦點您將在測試中錯過很多。IT 是一個痛苦的過程，將測試移動到其他領域。花很多時間測試功能（或者性能）是很重要的，但花很多時間測試其他質量標准也是重要的。
在 Rational Quality Manager 中，您可以明確地在測試計劃的 Quality Objectives 部分中定義您的質量目標（圖 5）。該部分用表格的形式列出了對於一次發布的質量目標。你可以自由地編輯 Quality Objectives Description、Current Value，和 Comment 字段（沒有在此顯示）來指定差不多任意目標。
圖 5. 測試計劃中的質量目標的實例
這些是量度目標的實例：
代碼復雜性
單元測試成功
代碼覆蓋率
需求覆蓋率
分區域測試用例完成（完成百分比、通過百分比）
加載、性能，或可伸縮性
開放問題和缺陷安全性、容量，或狀態
缺陷到達率或測試速度
測試用例或需求優先級或安全性，或二者
遵循標准（Section 508，W3C）
文檔或證據需求
還有許多許多。當然，您將要選擇的質量標准大量地依賴於您試圖用項目來實現什麼，以及您將要工作的開發環境。不論您選擇了什麼，Quality Objectives 部分都將從質量管理的角度提供項目所處位置的快照。
追蹤進入和退出標准
在 Quality Objectives 之後，您還可以指定進入和退出標准。在測試計劃的那些部分中，您可以精化將要支持您的測試過程的標准，以及整個質量標准。您可以使用進入標准（如圖 6 所示）來指定開始測試所需的條件，例如，必需的產品和特性質量的最小等級。
圖 6. 測試計劃中的進入標准的實例
退出標准（圖 7）可以用於指定達到考慮要完成的特殊測試周期的條件。舉例來說，您可以指定直到修復惡劣所有最嚴重的缺陷之後測試才是完成的。
圖 7. 測試計劃中的退出標准的實例
利用 viewlet 和報告進行分析
在移動過去的計劃、目標，並且交流高層次的目標和進展時，您可能會疑惑如何看到 Rational Quality Manager 中的真實數據。那麼，在此部分中，您將看到 Rational Quality Manager 中的許多報告和 viewlet。對於這些，您可以將它們看作 viewlets（那些您可以在儀表盤上創建來顯示關於狀態的實時更新的小窗口）和報告（找到目標的數據的可配置的報告）
這不是您可以回顧的完整數據清單，它甚至是不細致的。它只是您可以開始進行的一些分析中的一小部分。所有這些圖表都是來自於軟件中包含的與格式化的報告。除了提供的報告，您還可以使用 Rational Quality Manager 中的數據來創建或支持基於具體的項目需求和從其他測試管理工具中收集來的數據的定制報告。
追蹤測試執行
Rational Quality Manager 默認包含對於測試計劃執行的狀態、趨勢，和缺陷的報告。下面有許多可用的報告的實例，以及簡要的描述。基於計劃、所有者，和機器的執行狀態報告都顯示了帶有被劃分為六種彩色編碼的分類的數據的圖表。所有這些報告都使用相同的狀態結果。
實時的執行狀態報告
實時的執行狀態 viewlet 是您在第一次登入 Rational Quality Manager 時可以找到的默認的 viewlet 之一。它是可配置的，但默認顯示項目中 基於測試計劃 的測試執行的狀態。多個測試計劃可以並排地顯示。默認有許多狀態可用，單擊任意已知的計劃或狀態區段將給您顯示出對於此選區的詳細內容。Live Execution Status viewlet 的實例如圖 8 所示。
圖 8. Live Execution Status viewlet 的實例
依據測試人員的執行狀態
此報告列出了依據測試人員，或者所有者的執行工作項的狀態。您可以選擇一個以上的計劃，從而查看跨多個計劃的根據所有者的執行工作項的狀態。如同對於其他所有的報告一樣，您可以單擊圖上的一個部分，從而查看與對於該所有者的特殊狀態相關聯的執行工作項。Execution Status per Tester 報告的實例如圖 9 所示。
圖 9. 依據測試人員的執行狀態報告
如果您喜歡此報告，那麼您是走運的，因為您可以依據測試人員、所有者、計劃，或機器看到相同的信息。它給予您不同的方法來獲取進行比較的數據。
執行趨勢報告
執行趨勢報告可以用於比較實際的測試執行進展和計劃的進展。它將您做的和計劃做的進行比較。它還顯示了剩下多少工作，以及如果想趕上目標需要如何變更速度。該報告給您了一個很好的隨著時間的速度的指示。圖 10 顯示了 Execution Trend 報告的實例。
圖 10. Execution Trend 報告的實例
追蹤需求覆蓋率
可能不驚奇的是，您可以使用 Rational Quality Manager 來獲得需求覆蓋率的狀態的報告。雖然觀察其他的量度是很好的，但這仍舊是重要的。以下子部分說明了最有用的基本報告。
需求覆蓋率報告
該報告是另一個在儀表盤上提供的默認 viewlet，它顯示了您整個的需求覆蓋率。餅圖分為兩個部分：覆蓋的和沒覆蓋的。單擊每個部分來獲得需求及測試用例的詳細信息。圖 12 顯示了 Requirement Coverage Status 報告的實例。
圖 11. Requirements Coverage Status viewlet 的實例
單擊 Covered 生成了圖 12 中的表格，顯示了每個需求及其相關的測試用例。
圖 12. Plan Requirements Coverage 細節視圖
單擊 Not Covered 將生成如圖 13 所示的表格，顯示每個沒覆蓋的需求，以及誰擁有該需求。（也許它的基本原理是，通過了解所有者是誰，您可以溫和地讓此人書寫測試用例。）您還可以鑽到該信息中，通過測試計劃突破覆蓋率。
圖 13. 沒有覆蓋到的需求的詳細回顧的表格
Requirements Status by Execution 報告
Requirements Status by Execution 報告顯示了測試計劃中每個需求的工作項的狀態。您可以利用 Count 或 Weight 來觀察該報告。圖 14 顯示了實例。
圖 14. Requirements Status by Execution 報告的實例
追蹤測試用例
如果您是一個喜歡看測試想法來了解測試人員所專注的內容的測試經理，那麼您將會喜歡上如此容易地在 Rational Quality Manager 中獲得關於測試用例的細節。您不會獲得一大列的測試用例。相反，您可以獲得利用一些分類和前面提到的標簽進行分類和過濾的列表。您可以使用默認的測試用例報告來根據計劃、配置，或團隊列出測試用例。
Test Cases by Plan 報告
Test Cases by Plan 報告查詢作為測試計劃一部分的所有測試用例。你可以點擊測試用例的名稱來查看測試用例。參見圖 15 中的實例。
圖 15. Test Case by Plan 報告的實例
有一個非常類似的 Test Cases by Team 報告，它與上面的報告看起來及用起來是一樣的。該報告跨團隊，以及分配給那些團隊中的人的測試用例進行查看。
Test Cases by Configuration 報告
類似於 Test Case by Plan 報告，但用於那些進行配置測試的人，Test Cases by Configuration 報告根據目標配置對測試用例分類。圖 16 向您顯示了其有效性的思想。
圖 16. Test Case by Configuration 報告的實例
接下來的步驟
本文向您概述了在 Rational Quality Manager 中進行測試分析及報告的一些選擇。下一個步驟是在您的項目中嘗試。如同您處理數據一樣，看看是否您能夠在開頭考慮可以做出的變更，從而使得之後的報告更容易。同樣，思考你沒有從默認的報告中獲得的其他類型的信息。下一個步驟是考慮利用 Create Report 特性創建您自己的報告。
