課程登錄系統
C2 測試評估摘要
1.0 版
修訂歷程
日期 |
版本 |
說明 |
作者 |
1999 年 3 月 28 日 |
1.0 |
R1.0 版的測試評估(於 C2 反覆 - 起始版本中開發。 |
C. Smith |
|
|
|
|
|
|
|
|
目錄
- 目標
- 範圍
- 參考資料
- 簡介
- 測試涵蓋面
- 程式碼涵蓋面
- 問題分析
- 7.1 問題密度
- 7.2 問題趨勢
- 7.3 問題存在期間
- 建議動作
- 圖解
C2 測試評估摘要
1、目標
本「測試評估報告」依據測試涵蓋面(需求型及程式碼型涵蓋面)及問題分析(亦即,問題密度),說明「課程登錄 1.0 版」系統測試的結果。這些測試在「C2 反覆」期間處理。
2、範圍
本「測試評估報告」適用於在「C2 反覆」中實作的「課程登錄 R1.0 版」。測試計劃 [5] 中說明所處理的測試。本「評估報告」的用途如下:
- 評定 R1.0 系統之效能行為的可接受性和適當性
- 評定測試的可接受性
- 識別改善作法,以增加測試涵蓋面和 / 或測試品質
3、參考資料
適用的參考資料有:
- Course Registration System Glossary, WyIT406, V2.0, 1999, Wylie
College IT.
- Course Registration System Software Development Plan, WyIT418, V1.0,
1999, Wylie College IT.
- Course Registration System C2 Iteration Plan, WyIT500, V1.0, 1999, Wylie College IT.
- Course Registration System C2 Integration Build Plan,
WyIT502, V1.0, 1999, Wylie College IT.
- Course Registration System Test Plan, WyIT501, V1.0, 1999, Wylie College IT.
4、簡介
遵循測試計劃 [5] 中定義的測試策略,執行了「測試套組」中定義的測試案例。已記載測試問題,而目前已將所有中、高或嚴重優先順序的問題指派給負責人進行修正。
完成了測試涵蓋面的 95%(請參閱以下的 5.0 節),此涵蓋面係以測試計劃 [5] 中定義的使用案例和測試需求為依據。未完成 10 個測試案例,這些案例涉及處於全負載之系統的作業,原因是「載入模擬器軟體」中的錯誤。
使用 Rational Visual PureCoverage 測量了程式碼涵蓋面,這在 6.0 節中說明。
問題的分析(如以下的 7.0 節中所示)指出發現的大多數問題,都傾向於在嚴重性上被歸類為高或嚴重的主要問題。其他的重大發現項目是組成與「課程型錄系統」之介面的軟體元件含有大量的問題。
5、測試涵蓋面
已嘗試「測試套組」中定義的所有測試案例。10 個測試由於「載入模擬器軟體」中的軟體錯誤而未完成。所執行的其中 15 個測試案例失敗。
測試涵蓋面結果如下:
已執行的測試案例比例 = 110/120 = 92%
成功的測試案例比例 = 95/110 = 87%
具有最高失敗率的測試範圍為:
- 涉及「課程型錄系統」存取的效能測試
- 涉及「課程型錄系統」存取的載入測試。
- 用戶端軟體的安裝
使用 Rational RequisitePro 及 Test Case 矩陣可以取得有關測試涵蓋面的進一步詳細資料。
6、程式碼涵蓋面
使用了 Visual PureCoverage 來測量測試的程式碼涵蓋面。
已執行的 LOC 比例 = 94,399 / 102,000 = 93%
在測試期間,大約執行了程式碼的 93%。這個涵蓋面超過目標 90%。
7、問題分析
本節彙總使用 Rational ClearQuest 所產生的問題分析結果。第 8 節建議可用來處理問題分析尋找的動作。
7.1 問題密度
使用從 ClearQuest 報告中擷取的資料產生了有關問題密度的資料。本文件的第 9 節含有說明下列各項的圖表:
- 按嚴重性層次列示的問題(嚴重、高、中、低)
- 問題來源(問題或錯誤所在的元件)
- 問題狀態(已記載、已指派、已修正、已測試、已解決)。
按嚴重性層次排列的問題表顯示,已記載的 36 個問題中,有 26 個問題在嚴重性上被歸類為高或嚴重。這個數字被認為非常高;此外,所有高的及嚴重的問題都必須解決,「版本」才能發行。
問題來源表顯示,有異常狀況高百分比的問題與一些元件(c-abx、c-xxx)相關聯,這些元件形成對「課程型錄系統」的介面。此外,許多問題位於控制用戶端軟體之安裝的軟體元件內。
問題狀態表顯示,目前已迅速指派及處理問題。已驗證並解決大多數的問題。
此外,經分析嚴重的及高的問題顯示,這些問題中有許多是因為在負荷量沉重的狀況期間,存取「課程型錄系統」時的回應時間太慢(僅傳遞驗證效能需求之「測試案例」的 50%)。
7.2 問題趨勢
問題趨勢(亦即,經過一段時間的問題計數)顯示在第 9 節的圖解中。這個趨勢顯示問題的出現次數仍然很高。如果此趨勢持續,則可能有必要進行額外的反覆,以尋找程式碼中的其餘問題。
7.3 問題存在期間
「問題存在期間表」(請參閱第 9 節)說明解決某些問題的時間超過 30 天。
8、 建議動作
建議動作如下:
- 繼續將系統工程資源專用於涉及「課程型錄系統」的回應時間問題。這是一個嚴重的課題,因為若沒有符合效能需求,將無法發行 R1.0 版。
- 審查主要排程,以查明是否可以將第四個反覆新增至「建構階段」。在經過一段時間後,問題的趨勢指出許多問題仍留在程式碼中,建議進行額外的測試週期。
- 在將具有高問題率的元件重新提出至建置之前,應先加以檢查。這包括 c-abx 和 c-xxx。
- 高比率的「嚴重」和「高」嚴重性問題可能表示設計不完整,而且未經適當審查。請規劃 R2.0 版的其他設計審查。
- 使用「載入模擬器軟體」修正問題,然後重新執行相關聯的測試案例。
- 探究問題存在期間。為何有若干個問題要花超過 30 天才能解決?
9、 圖解
|