目的
|
确定并概括将促进所需评估流程的一个或多个策略。
|
既然您更好地了解评估和可跟踪性需求,并更好地了解所需的质量水平以及可用的流程和工具支持对这些需求的约束,您就需要考虑可能采用的可能评估策略。关于可能策略的更详细论述,建议您阅读 Cem Kaner 发表于 2000 年 10
月的论文“Measurement of the Extent of
Testing”。(获取 Adobe Reader)
子主题:
有许多测试覆盖的不同方法,没有一个覆盖度量可以自行提供组成测试工作范围或完整性评估所需要的所有覆盖信息。请注意,实施不同的覆盖策略所需要的精力也是不同的,使用任何特定的度量类别,通常会有某个覆盖分析深度,在该深度记录更详细的信息将变得不经济。
某些类别的测试覆盖度量包括:需求、源代码、产品声明和标准。建议您考虑在您的测试评估策略中纳入多个覆盖类别。在多数情况下,测试覆盖指的是第一种情况下特定测试的计划和实施。但是,测试覆盖度量值及其分析也可用于与测试结果或缺陷分析一起考虑。
测试结果分析的一个常用方法是简单地引用正面或负面的结果数(作为所运行的测试总数的一部分)。我们的观点和测试团体中其他工作人员的观点是,这是一个分析测试结果的过分单纯化且不完整的方法。
相反,建议您根据相对趋势随着时间的变化来分析您的测试结果。在每个测试周期中,考虑测试故障的多维相对分发,如正在测试的功能领域、正在探索的质量风险类型、测试的相对复杂性和应用于每个功能领域的测试资源。
尽管缺陷本身显然与测试工作的结果相关,缺陷数据的分析并不提供关于测试工作进度或该工作完整性或全面性的任何有用信息。但是,有些测试团队和项目经理所犯的错误是,使用当前的缺陷计数来度量测试的进度或作为度量所开发软件的质量的标尺。我们的观点和测试团体中其他工作人员的观点是,这是一个毫无意义的方法。
相反,建议您分析缺陷计数随时间变化的相对趋势,以提供相对稳定的度量。例如,假定测试工作保持相对稳定,您通常会在迭代过程中看到针对固定时间段“钟形曲线”度量的新缺陷发现率;发现率增长到峰值,然后随着迭代结束而下降。但是,您将需要结合对其他缺陷度量值的分析来提供这些信息,例如:缺陷解决率(包括对解决类型的分析);缺陷的严重性分发;缺陷的功能领域分发。
在完善的工具支持下,您可以比较容易地执行对缺陷数据的复杂分析;没有适当的工具支持,这个事情就困难多了。
|