課程登錄系統
架構原型
的
測試評估摘要
1.0 版
修訂歷程
日期 |
版本 |
說明 |
作者 |
1999 年 3 月 21 日 |
1.0 |
架構原型測試評估 |
C. Smith |
|
|
|
|
|
|
|
|
目錄
- 簡介
- 測試結果摘要
- 測試涵蓋面
- 程式碼涵蓋面
- 問題分析
- 建議動作
- 圖解
架構原型
的
測試評估摘要
- 簡介
- 用途
本「測試評估報告」依據測試涵蓋面(需求型及程式碼型涵蓋面)及問題分析(亦即,問題密度),說明「課程登錄架構原型」的結果。
- 範圍
本「測試評估報告」適用於「課程登錄架構原型」。原型 [5] 的「測試計劃」中說明所處理的測試。本「評估報告」的用途如下:
- 評定原型之效能行為的可接受性和適當性
- 評定測試的可接受性
- 識別改善作法,以增加測試涵蓋面和 / 或測試品質
- 參考資料
適用的參考資料有:
- Course Registration System Glossary, WyIT406, V2.0, 1999, Wylie
College IT.
- Course Registration System Software Development Plan, WyIT418, V1.0,
1999, Wylie College IT.
- Course Registration System Iteration Plan, Elaboration Iteration #E1, WyIT420, V1.0, 1999,
Wylie College IT.
- Course Registration System Integration Build Plan for the Architectural Prototype, WyIT430, V1.0, 1999, Wylie
College IT.
- Course Registration System Test Plan for the Architectural
Prototype, WyIT432, V1.0, 1999, Wylie College IT.
-
測試結果摘要
遵循測試計劃 [5] 中定義的測試策略,執行了「原型」之「測試套組」中定義的測試案例。
完成了測試涵蓋面(請參閱以下的 5.0 節),此涵蓋面係以測試計劃 [5] 中定義的使用案例和測試需求為依據。
程式碼涵蓋面於 6.0 節中說明,其不被視為原型成功的重要基準。
問題分析(如以下的 7.0 節中所示)指出在存取舊式「課程型錄系統」時,發生顯著的效能 問題。涉及讀取或寫入「課程型錄系統」的效能和載入測試劣於已建立的目標。「管理團隊」將會指派系統工程資源,以進一步評估這些測試結果及決定設計替代方案。
- 測試涵蓋面
測試計劃 [5] 的 5.1 節中定義要在原型上執行的測試,以及它們的完成標準。測試涵蓋面結果如下:
已執行的測試案例比例 = 40/40 = 100%
成功的測試案例比例 = 30/40 = 80%
具有最高失敗率的測試範圍為:
- 涉及「課程型錄系統」存取的效能測試
- 涉及「課程型錄系統」存取的載入測試。
使用 Rational RequisitePro 及 Prototype Test Case 矩陣可以取得有關測試涵蓋面的進一步詳細資料。
- 程式碼涵蓋面
使用了 Rational Visual PureCoverage 來測量「原型」測試的程式碼涵蓋面。
已執行的 LOC 比例 = 12,874 / 48,916(大約 25%)
在測試期間,大約執行了程式碼的 25%。已判定這個涵蓋面適用於原型測試,因為充分實行了所有的介面。稍後的反覆將需要遠遠較高的程式碼涵蓋面測量值。
- 問題分析
本節彙總使用 Rational ClearQuest 所產生的問題分析結果。第 8 節建議可用來處理問題分析尋找的動作。
- 問題密度
使用從 ClearQuest 報告中擷取的資料產生了有關問題密度的資料。本文件的第 9 節含有說明下列各項的圖表:
- 按嚴重性層次列示的問題(重大、高、中、低)
- 問題來源(問題或錯誤所在的元件)
- 問題狀態(已記載、已指派、已修正、已測試、已關閉)。
「按嚴重性層次列示的問題」圖表顯示記載了 4 個重大的及 4 個高優先順序的問題。問題日誌的詳細分析顯示:
這幾個重大的及高優先順序的問題全部都與存取舊式「課程型錄系統」時發生的效能和載入問題相關(附註:
未包含圖表)。
「問題來源」圖表顯示有異常狀況高百分比的問題位於「系統介面」元件。
「問題狀態」圖表顯示有許多問題處於已記載狀態,尚未被指派進行分析。
- 問題趨勢
未測量「架構原型」測試的問題趨勢(亦即,經過一段時間的問題計數)。
- 問題存在期間
不需要追蹤「原型」的問題存在期間。目前的計劃是開始追蹤在「建構階段」開頭的未解決問題之存在期間。將會使用 ClearQuest 來產生「問題存在期間」圖表。
- 建議動作
建議動作如下:
- 指派額外的系統工程資源,以進一步評估效能以及與存取舊式「課程型錄系統」相關聯的載入問題。在實作任何的設計解決方案之前,「專案小組」會先審查設計替代方案。
- 指派工程資源,以解決有關「原型」的未解決問題。
- 擱置解決「重大」及「高」問題,延遲開始下一個反覆。
- 設計額外的測試,以進一步測試「課程型錄系統」的載入及存取時間。嘗試使用 Rational Visual Quantify 來識別及分析效能瓶頸。
- 建議將來的反覆包含對於涉及外部介面的所有設計或程式碼的檢驗。這些檢驗應縮減在測試期間所發現的問題數。
7、 圖解
-
|