課程登錄系統

C2 測試評估摘要

 

1.0 版

修訂歷程

日期

版本

說明

作者

1999 年 3 月 28 日 1.0 R1.0 版的測試評估(於 C2 反覆 - 起始版本中開發。 C. Smith
 
 
 
 
 
 
 
 

 

 

目錄

  1. 目標
  2. 範圍
  3. 參考資料
  4. 簡介
  5. 測試涵蓋面
  6. 程式碼涵蓋面
  7. 問題分析
    7.1    問題密度
    7.2    問題趨勢
    7.3    問題存在期間
  8. 建議動作
  9. 圖解

C2 測試評估摘要

1、目標

    本「測試評估報告」依據測試涵蓋面(需求型及程式碼型涵蓋面)及問題分析(亦即,問題密度),說明「課程登錄 1.0 版」系統測試的結果。這些測試在「C2 反覆」期間處理。

2、範圍

本「測試評估報告」適用於在「C2 反覆」中實作的「課程登錄 R1.0 版」。測試計劃 [5] 中說明所處理的測試。本「評估報告」的用途如下:

  • 評定 R1.0 系統之效能行為的可接受性和適當性
  • 評定測試的可接受性
  • 識別改善作法,以增加測試涵蓋面和 / 或測試品質

3、參考資料

適用的參考資料有:

    1. Course Registration System Glossary, WyIT406, V2.0, 1999, Wylie College IT.
    2. Course Registration System Software Development Plan, WyIT418, V1.0, 1999, Wylie College IT.
    3. Course Registration System C2 Iteration Plan, WyIT500, V1.0, 1999, Wylie College IT.
    4. Course Registration System C2 Integration Build Plan, WyIT502, V1.0, 1999, Wylie College IT.
    5. Course Registration System Test Plan, WyIT501, V1.0, 1999, Wylie College IT.

4、簡介

    遵循測試計劃 [5] 中定義的測試策略,執行了「測試套組」中定義的測試案例。已記載測試問題,而目前已將所有中、高或嚴重優先順序的問題指派給負責人進行修正。

    完成了測試涵蓋面的 95%(請參閱以下的 5.0 節),此涵蓋面係以測試計劃 [5] 中定義的使用案例和測試需求為依據。未完成 10 個測試案例,這些案例涉及處於全負載之系統的作業,原因是「載入模擬器軟體」中的錯誤。

    使用 Rational Visual PureCoverage 測量了程式碼涵蓋面,這在 6.0 節中說明。

    問題的分析(如以下的 7.0 節中所示)指出發現的大多數問題,都傾向於在嚴重性上被歸類為高或嚴重的主要問題。其他的重大發現項目是組成與「課程型錄系統」之介面的軟體元件含有大量的問題。

5、測試涵蓋面

已嘗試「測試套組」中定義的所有測試案例。10 個測試由於「載入模擬器軟體」中的軟體錯誤而未完成。所執行的其中 15 個測試案例失敗。

測試涵蓋面結果如下:

已執行的測試案例比例 = 110/120 = 92%

成功的測試案例比例 = 95/110 = 87%

具有最高失敗率的測試範圍為:

    • 涉及「課程型錄系統」存取的效能測試
    • 涉及「課程型錄系統」存取的載入測試。
    • 用戶端軟體的安裝

使用 Rational RequisitePro 及 Test Case 矩陣可以取得有關測試涵蓋面的進一步詳細資料。

6、程式碼涵蓋面

    使用了 Visual PureCoverage 來測量測試的程式碼涵蓋面。

    已執行的 LOC 比例 = 94,399 / 102,000 = 93%

    在測試期間,大約執行了程式碼的 93%。這個涵蓋面超過目標 90%。

7、問題分析

    本節彙總使用 Rational ClearQuest 所產生的問題分析結果。第 8 節建議可用來處理問題分析尋找的動作。

7.1     問題密度

使用從 ClearQuest 報告中擷取的資料產生了有關問題密度的資料。本文件的第 9 節含有說明下列各項的圖表:

  • 按嚴重性層次列示的問題(嚴重、高、中、低)
  • 問題來源(問題或錯誤所在的元件)
  • 問題狀態(已記載、已指派、已修正、已測試、已解決)。

按嚴重性層次排列的問題表顯示,已記載的 36 個問題中,有 26 個問題在嚴重性上被歸類為高或嚴重。這個數字被認為非常高;此外,所有高的及嚴重的問題都必須解決,「版本」才能發行。

問題來源表顯示,有異常狀況高百分比的問題與一些元件(c-abx、c-xxx)相關聯,這些元件形成對「課程型錄系統」的介面。此外,許多問題位於控制用戶端軟體之安裝的軟體元件內。

問題狀態表顯示,目前已迅速指派及處理問題。已驗證並解決大多數的問題。

此外,經分析嚴重的及高的問題顯示,這些問題中有許多是因為在負荷量沉重的狀況期間,存取「課程型錄系統」時的回應時間太慢(僅傳遞驗證效能需求之「測試案例」的 50%)。

7.2     問題趨勢

      問題趨勢(亦即,經過一段時間的問題計數)顯示在第 9 節的圖解中。這個趨勢顯示問題的出現次數仍然很高。如果此趨勢持續,則可能有必要進行額外的反覆,以尋找程式碼中的其餘問題。

7.3     問題存在期間

「問題存在期間表」(請參閱第 9 節)說明解決某些問題的時間超過 30 天。

 8、  建議動作

建議動作如下:

  1. 繼續將系統工程資源專用於涉及「課程型錄系統」的回應時間問題。這是一個嚴重的課題,因為若沒有符合效能需求,將無法發行 R1.0 版。
  2. 審查主要排程,以查明是否可以將第四個反覆新增至「建構階段」。在經過一段時間後,問題的趨勢指出許多問題仍留在程式碼中,建議進行額外的測試週期。
  3. 在將具有高問題率的元件重新提出至建置之前,應先加以檢查。這包括 c-abx 和 c-xxx。
  4. 高比率的「嚴重」和「高」嚴重性問題可能表示設計不完整,而且未經適當審查。請規劃 R2.0 版的其他設計審查。
  5. 使用「載入模擬器軟體」修正問題,然後重新執行相關聯的測試案例。
  6. 探究問題存在期間。為何有若干個問題要花超過 30 天才能解決?
 9、  圖解
上述內容中詳述
上述內容中詳述
上述內容中詳述
上述內容中詳述
上述內容中詳述

Copyright  (c) IBM Corp. 1987, 2004. All Rights Reserved. 

課程登錄系統專案 Web 範例
2001.03 版