결과 기반 테스트
Results based testing결과 기반 테스트는 소프트웨어 테스트를 위한 비즈니스 모델이다.이 사업 모델은 기업이 프로젝트에 소비하는 시간이 아닌 탐지된 버그에 대해 비용을 지불할 수 있는 대체 가격 시스템으로 구성된다.
설명
"RBT(Results-Based Testing)"는 소프트웨어 테스트를 위한 대체 가격 체계로, 기업이 프로젝트에 소비하는 시간이 아니라 탐지된 버그에 대해 비용을 지불할 수 있다.이는 대부분의 시험 업체가 채택한 가격 구조에 대한 고객의 불만족에 대응하여 채택되었으며, 고객 만족도가 높아지고 버그 검출 정확도가 향상되었다.
결과 기반 테스트에는 일반적으로 다음 세 가지 요소가 포함된다.
RBT는 일반적으로 소프트웨어 테스트 프로세스의 일부 또는 전부를 제3자에게 아웃소싱하고 핵심 계약 SLA를 가격 메커니즘과 함께 각 SLA 수준에서 정확한 지급을 설정할 때 활용된다.가격 결정 메커니즘은 각 SLA 레벨에 대해 유연한 요금 또는 위약금/보상 메커니즘이 될 수 있으며, 모두 명시된 비즈니스 목표(결과)를 충족하기 위한 시험 공급자에 대한 인센티브를 창출하는 것을 목표로 한다.단, RBT는 위약금/보상 메커니즘을 구현하기가 더 어렵더라도 내부 시험 팀에도 사용할 수 있으며(그리고 사용해야 한다).RBT의 또 다른 좋은 사용은 이전 기간의 결과가 다음 기간의 목표에 대한 기준선이 될 수 있는 측정된 지속적인 개선에 필요한 프레임워크를 확립하는 것이다.
사용법
QualiTest를 비롯한 여러 소프트웨어 테스트 회사들은 이 모델을 사용하여 경험한 성공에 크게 의존하고 있다.
QualiTest는 다음과 같은 이유로 결과 기반 테스트가 이점을 제공했다고 보고한다.
- 테스트 제공업체에게 고객의 비즈니스 목표를 달성할 수 있는 재정적 인센티브 제공
- 테스트 제공업체에게 고객의 비즈니스 목표에 따라 프로세스를 혁신하고 개선할 수 있는 재정적 인센티브를 제공하고 양 당사자 간의 재무 리스크 확산
- 지속적인 개선을 위한 프레임워크 제공
- 테스트 공급자의 성능을 측정한다.
- 고객이 비즈니스 요구사항에 따라 테스트를 확장하거나 축소할 수 있는 유연성 제공
시험 수준을 평가할 때 몇 가지 핵심 공정 지표(KPI)를 측정해야 한다.주요 초점은 다음과 같은 두 가지 주요 질문에 맞춰야 한다.
- 테스트를 통해 결함의 몇 퍼센트를 찾아야 하는가?
- 위의 목표를 달성하기 위해 지출되는 비용은 얼마인가?
대부분의 조직은 이 두 KPI를 측정하지 못하며 시험의 품질과 효율성에 대한 정확한 가시성을 제공할 수 없다.
시험에서 발견된 결함의 백분율(시험 범위 KPI의 한 종류 대 탈출된 결함 KPI)을 측정하기 위해 조직은 다음 프로세스를 활용해야 한다.
- 결함의 보고 – 시험팀이 보고한 각 결함은 중앙 결함 관리 시스템에 기록되어야 한다.
- 시스템의 고객/사용자가 제기한 모든 문제 또는 지원 티켓은 중앙집중식 시스템에 기록되어야 한다.보통 지원팀이나 헬프 데스크 팀은 이러한 정보를 가지고 있다.
- 각 티켓은 테스트 팀이 평가해야 한다(때로는 지원팀이 티켓을 필터링하고 결함으로 인한 티켓만 제공).
- 결함과 관련된 각 티켓은 다음 상태 중 하나를 가져야 한다.
- 결점이 아님
- 알려진 결함
- 테스트/복제 불가능으로 찾을 수 없음
- 새 결점
마지막 상태의 결점(새 결점)만 이 메트릭에 대해 카운트된다.
상기 프로세스는 조직이 RBT 구현을 시작하고 시험 프로세스의 효율성과 효율성을 지속적으로 개선하고자 하는 경우에 매우 중요하다.시험 범위 측정은 시험 제공자가 발견한 결함의 양을 시스템 사용자가 발견한 결함의 양으로 나누어 실시한다.심각한 결함은 조직에 다른 중요성과 덜 심각한 결함을 동반하기 때문에 각 결함에 심각도를 곱한다.예를 들어, 1-5의 척도를 사용한다고 가정하면, 중대한 결함(심각도 = 5)은 5개의 사소한 결함(심각도 = 1)과 같은 방식으로 계수된다.
시스템 해제 후 일정 기간 동안 발견된 결함만 계산해야 한다(일반적으로 이것은 3~6개월로 정의된다).데이터를 사용할 수 있게 되면 KPI 값을 계산하는 데 다음 공식을 사용한다.
(시험에 의한 결함 발견)/ (시험+실제 결함 확인에 의한 결함 확인)
참조
- Zylberman, Ayal. "Results-Based Testing". www.qualitestgroup.com. QualiTest. Retrieved 17 July 2015.