工具輔助: 使用 Rational Test RealTime 分析測試結果
這個工具輔助說明如何從 Rational Test RealTime 分析測試執行的結果。
工具: Rational Test RealTime
主要說明

概觀

這個工具輔助說明如何從 Rational Test RealTime 分析測試執行的結果。如果測試活動的結果無法快速簡易的解譯,且後續活動仍然如此,就無法經常先實現測試值。

同時使用程式碼插入技術及程式碼分析,Rational Test RealTime 就能夠直接在程式碼層次上聚焦其元件測試及執行時期分析功能。已新增各種功能以確保能快速隔離錯誤,並在相關聯的程式碼上簡單而有效的使用。

  • 在 Test RealTime 文字編輯器中可開啟及修改程式碼。
  • 可操作版本控制程式(例如 Rational ClearCase)來移入/移出已版本化的程式碼。
  • 可直接存取變更管理程式(例如 ClearQuest)來進行問題呈遞及加強功能要求

這些特性與測試工具產生的分析報表一起使用。Test RealTime 的每個主要功能(元件測試、系統測試、記憶體概況、效能評估、程式碼涵蓋率分析、執行時期追蹤、靜態測量值產生)都有專用的報表。這些檔案包含從程式碼剖析器、程式碼強化器、測試 Script 產生器、測試 Script 編譯器、目標部署埠及報表產生器所產生的一些日誌檔中擷取出的資訊。這些檔案可以在執行完結時由 Test RealTime 自動開啟,或以手動方式開啟。

每個報表都設計為可立即解譯,以確保快速而有效的診斷及解析問題。

報表類型

將會討論每個 Test RealTime 特性的報表分析。在相關的地方,也會討論由於程式語言而產生的報表差異:

元件測試及系統測試

如果要在「專案視窗」中使用「專案瀏覽器」標籤開啟這些報表,請在 Test RealTime 使用者介面的右邊,用滑鼠右鍵按一下測試節點並選取「檢視報表->測試」。 如果要使用 Test RealTime 功能表開啟這些報表:

  1. 選取功能表項目「檔案->瀏覽報表」。
  2. 選取「新增」工具列按鈕。
  3. 從「類型」下拉清單的「檔案」選取報表
  4. 瀏覽至您要檢視報表相對應的 .xrd 檔案並加以選取。
  5. 按一下「開啟」按鈕

如果要從命令行開啟這些報表,只要將每個 .xrd 檔案視為命令行 studio 的參數。

報表組織到兩個主要區段,摘要區段後面接著詳細資料區段。

  • 摘要 - 摘要區段包含資訊,例如報表檔位置、測試執行的時間及通過和失敗測試的摘要計數。

  • 元件測試詳細資料 - 如果是元件測試,這個區段提供測試下驅動程式/服務/功能/方法/程序的相關資訊。針對每個項目,根據程式碼語言及選取的選項而定,報表包含部分或全部下列資訊:
    • 測試區段,提供測試是否通過之概觀及彙總
    • 變數值區段,指定每個變數的擷取值。
    • 程式碼涵蓋率區段,如果有執行程式碼涵蓋率分析的話。
    • 關於合約驗證(例如確認)及驗證 C++ 和 Java 之查詢的其他資訊

  • 系統測試詳細資訊 - 如果是系統測試,將會提供下列子區段:
    • 起始設定區段,詳細說明在測試下涉及開啟到元件連線的步驟。
    • 一或多個情境區段,詳細說明執行的實際測試。情境區段可以是巢狀的。
    • 終止區段,詳細說明在測試下涉及終止到元件連線的步驟。

Test RealTime 使用者介面的「報表瀏覽器」可用於操作整個測試報表 (按兩下任何想要的節點);「測試報表」功能表項目及工具列可讓您過濾報表只檢視失敗。 測試報表的多個區段超鏈結至測試 Script;只要用滑鼠右鍵按一下滑鼠圖示類似 hand 圖示的那些區段。

書籍圖示 如需關於檢視測試報表的詳細資訊,請參閱 Rational Test RealTime 使用手冊,並參閱「自動化測試->元件測試」一章中討論測試報表的各節。

書籍圖示 如需使用報表檔的詳細技術資訊,請參閱 Rational Test RealTime 參考手冊,集中在討論不同測試報表產生器的各節。特別是,請參閱「附錄->檔案類型」頁面。

記憶體概況

所有支援語言(C、C++ 及 Java)的記憶體概況報表都儲存於專案資料夾或 TDP 資料夾內的 XML 型檔案中,視語言不同而定。

如果要在「專案視窗」中使用「專案瀏覽器」標籤開啟這些報表,請在 Test RealTime 使用者介面的右邊,用滑鼠右鍵按一下測試節點並選取「檢視報表->記憶體設定檔」。

如果要使用 Test RealTime 功能表開啟這些報表:

  1. 選取功能表項目「檔案->瀏覽報表」。
  2. 選取「新增」工具列按鈕。
  3. 從「類型」下拉清單的「檔案」選取記憶體概況
  4. 瀏覽至您想要檢視的檔案並加以選取。
  5. 依需要重複步驟 2-4。
  6. 在「報表瀏覽器」視窗中按一下「開啟」按鈕。

如果要從命令行開啟這些報表,只要將您想要檢視的一或多個檔案視為命令行 studio 的參數。

報表組織到兩個主要區段,摘要區段後面接著詳細資料區段。

  • 摘要 - 直方圖及文字報表區段,提供已配置及可用的區塊及位元組總數,以及在任何給定時間配置的區塊/位元組最大值。

  • C 及 C++ 詳細資料 - 使用與其相關聯的呼叫堆疊列出每個錯誤及警告。列出的呼叫堆疊會將最後呼叫的函數/方法放在最前面;所有呼叫堆疊中的函數/方法皆超鏈結到程式碼。

  • Java 詳細資料 - 自從前次 Snapshot 之後有配置物件的每個方法都會顯示清單。 基本表格列出自前次 Snapshot 之後每個方法的物件數及相關聯的配置位元組,以及由每個方法及其後代 (例如,母項的子項方法) 配置的物件及位元組總數。

Test RealTime 使用者介面的「報表瀏覽器」可用於操作整個測試報表 (按兩下任何想要的節點);「測試報表」功能表項目及工具列可讓您過濾報表只檢視失敗。 測試報表的多個區段超鏈結至測試 Script;只要用滑鼠右鍵按一下滑鼠圖示類似 hand 圖示的那些區段。

書籍圖示 如需關於 檢視記憶體概況報表的詳細資訊,請參閱 Rational Test RealTime 使用手冊,並參閱「執行時期分析->記憶體概況」章節。

書籍圖示 如需使用報表檔的詳細技術資訊,請參閱 Rational Test RealTime 參考手冊,集中在討論不同測試報表產生器的各節。特別是,請參閱「附錄->檔案類型」頁面。

應用程式效能評估

所有支援語言 (C、C++ 及 Java) 的效能評估報表都儲存於專案資料夾或 TDP 資料夾內的 XML 型檔案中,視語言不同而定。

如果要在「專案視窗」中使用「專案瀏覽器」標籤開啟這些報表,請在 Test RealTime 使用者介面的右邊,用滑鼠右鍵按一下測試節點並選取「檢視報表->記憶體設定檔」。

如果要使用 Test RealTime 功能表開啟這些報表:

  1. 選取功能表項目「檔案->瀏覽報表」。
  2. 選取「新增」工具列按鈕。
  3. 從「類型」下拉清單的「檔案」選取效能評估
  4. 瀏覽至您想要檢視的檔案並加以選取。
  5. 依需要重複步驟 2-4。
  6. 在「報表瀏覽器」視窗中按一下「開啟」按鈕。

如果要從命令行開啟這些報表,只要將您想要檢視的一或多個檔案視為命令行 studio 的參數。

報表組織如下:每個報表的頂端是一張圓餅圖,詳細說明每個函數/方法(最多 6 個),獨佔總執行時間的 5 或更多個百分比。圓餅圖的下方是一份可排列的表格,列出每個函數/方法及各種相關聯的統計資料。在直欄標頭按一下滑鼠將會依該直欄的內容排序整份清單;在任何函數/方法名稱上按一下滑鼠將會開啟相對應的程式碼。值並沒有好壞之分(大型函數執行時間,或目標函數 + 後代執行時間),只是強調顯示潛在無效率的演算法並因而候選最佳化。

書籍圖示 如需關於檢視效能評估報表的詳細資訊,請參閱 Rational Test RealTime 使用手冊,並參閱「執行時期分析->效能評估」章節。

書籍圖示 如需使用報表檔的詳細技術資訊,請參閱 Rational Test RealTime 參考手冊,集中在討論不同測試報表產生器的各節。特別是,請參閱「附錄->檔案類型」頁面。

程式碼涵蓋率分析

所有支援語言(C、C++、Ada 及 Java)的程式碼涵蓋率分析報表都儲存於專案資料夾或 TDP 資料夾內的 XML 型檔案中,視語言不同而定。

如果要在「專案視窗」中使用「專案瀏覽器」標籤開啟這些報表,請在 Test RealTime 使用者介面的右邊,用滑鼠右鍵按一下測試節點並選取「檢視報表->記憶體設定檔」。

如果要使用 Test RealTime 功能表開啟這些報表:

  1. 選取功能表項目「檔案->瀏覽報表」。
  2. 選取「新增」工具列按鈕。
  3. 從「類型」下拉清單的「檔案」選取程式碼涵蓋率
  4. 瀏覽至您想要檢視的檔案並加以選取。
  5. 依需要重複步驟 2-4。
  6. 在「報表瀏覽器」視窗中按一下「開啟」按鈕。

如果要從命令行開啟這些報表,只要將您想要檢視的一或多個檔案視為命令行 studio 的參數。

報表組織到兩個主要元件,「程式檔」元件及「比率」元件。

  • 程式檔 - 「程式檔」標籤反映程式碼涵蓋率資訊的兩個層次:
    • 選取根資料夾時,「程式檔」標籤使用直條圖彙總整體程式碼涵蓋率。
    • 選取「報表視窗」中的任何其他節點時,「程式檔」標籤使用有顏色的程式碼顯示來反映程式碼是否被涵蓋。「程式檔」標籤會顯示與所選取節點相關的資訊。

  • 比率 - 「比率」標籤會將每個函數/方法/程序的涵蓋率層次拆開成百分比。

書籍圖示 如需關於檢視程式碼涵蓋率報表的詳細資訊,請參閱 Rational Test RealTime 使用手冊,並參閱「執行時期分析->程式碼涵蓋率」章節。

書籍圖示 如需使用報表檔的詳細技術資訊,請參閱 Rational Test RealTime 參考手冊,集中在討論不同測試報表產生器的各節。特別是,請參閱「附錄->檔案類型」頁面。

執行時期追蹤

所有支援語言(C、C++ 及 Java)的執行時期追蹤報表都儲存於專案資料夾或 TDP 資料夾內的 XML 型檔案中,視語言不同而定。

如果要在「專案視窗」中使用「專案瀏覽器」標籤開啟這些報表,請在 Test RealTime 使用者介面的右邊,用滑鼠右鍵按一下測試節點並選取「檢視報表->記憶體設定檔」。

如果要使用 Test RealTime 功能表開啟這些報表:

  1. 選取功能表項目「檔案->瀏覽報表」。
  2. 選取「新增」工具列按鈕。
  3. 從「類型」下拉清單的「檔案」選取追蹤檔案
  4. 瀏覽至您想要檢視的檔案並加以選取。
  5. 依需要重複步驟 2-4。
  6. 在「報表瀏覽器」視窗中按一下「開啟」按鈕。

如果要從命令行開啟這些報表,只要將您想要檢視的一或多個檔案視為命令行 studio 的參數。

執行時期追蹤報表是應用程式或測試程式碼執行期間發生之所有事件的序列圖。這個序列圖使用從「統一建模語言」取得的表示法,因此可正確地參照為 UML 型的序列圖。垂直線是生命線;每條生命線代表一個 Java 物件實例。第一條生命線由原先的圖例表示,視為「世界」,也就是作業系統。水平線將每一條生命線彼此連接。綠線是建構子呼叫,黑線是方法呼叫,紅線是方法傳回,藍線是解構子呼叫,橙線是異常狀況。將滑鼠浮動過任何方法呼叫上將可看到全文。每個呼叫和呼叫傳回都是時間戳記。每條垂直線及水平線都超鏈結到監視的程式碼。可使用功能表項目「執行時期追蹤>過濾器」建立過濾器,使執行時期追蹤報表更易管理。

書籍圖示 如需關於檢視執行時期追蹤報表的詳細資訊,請參閱 Rational Test RealTime 使用手冊,並參閱「執行時期分析->執行時期追蹤」章節。

書籍圖示 如需使用報表檔的詳細技術資訊,請參閱 Rational Test RealTime 參考手冊,集中在討論不同測試報表產生器的各節。特別是,請參閱「附錄->檔案類型」頁面。

靜態測量值

所有支援語言(C、C++ 及 Java)的記憶體概況報表都儲存於專案資料夾或 TDP 資料夾內的 XML 型檔案中,視語言不同而定。

如果要在「專案視窗」中使用「專案瀏覽器」標籤開啟這些報表,請在 Test RealTime 使用者介面的右邊,用滑鼠右鍵按一下測試節點並選取「檢視報表->記憶體設定檔」。

如果要使用 Test RealTime 功能表開啟這些報表:

  1. 選取功能表項目「檔案->瀏覽報表」。
  2. 選取「新增」工具列按鈕。
  3. 從「類型」下拉清單的「檔案」選取測量值
  4. 瀏覽至您想要檢視的檔案並加以選取。
  5. 依需要重複步驟 2-4。
  6. 在「報表瀏覽器」視窗中按一下「開啟」按鈕。

如果要從命令行開啟這些報表,只要將您想要檢視的一或多個檔案視為命令行 studio 的參數。

報表組織到兩個層次,「檔案」視圖及「物件」視圖。

  • 檔案視圖 - 選取根資料夾時,針對所選取的每個檔案將會顯示 7 個 Halstead 測量值其中之一的長條圖。使用功能表可變更顯示的特定測量值。選取任何其他節點時,會顯示該節點特定的靜態測量值。

  • 物件視圖 - 選取根資料夾時,將會顯示圖形。這個圖形會比較每個函數/方法的某些靜態測量值,這可使用功能表加以變更。選取任何其他節點時,會顯示該節點特定的靜態測量值。

書籍圖示 如需關於檢視靜態測量值報表的詳細資訊,請參閱 Rational Test RealTime 使用手冊,並參閱「執行時期分析->靜態測量值」章節。

書籍圖示 如需使用報表檔的詳細技術資訊,請參閱 Rational Test RealTime 參考手冊,集中在討論不同測試報表產生器的各節。特別是,請參閱「附錄->檔案類型」頁面。