7. 애플리케이션 테스트 관리
애플리케이션 테스트 케이스 설계
애플리케이션 테스트 케이스 작성
소프트웨어 테스트의 이해
소프트웨어 테스트 개념
개발된 응용 애플리케이션이나 시스템이 사용자가 요구하는 기능과 성능, 사용성, 안정성 등을 만족하는지 확인하고, 노출되지 않은 숨어있는 소프트웨어의 결함을 찾아내는 활동
소프트웨어 테스트 필요성
- 오류 발견 관점
- 오류 예방 관점 : 동료 검토, 워크스루, 인스펙션
- 품질 향상 관점
소프트웨어 테스트 원리
- 테스팅은 결함이 존재함을 밝히는 것 : 결함x 증명 못함
- 완벽한 테스팅은 불가능
- 개발 초기에 테스팅 시작
- 결함집중 : 적은 수의 모듈에서 대다수의 결함 발견
- 살충제 패러독스 : 동일한 테스트 케이스에 의한 반복적 테스트는 새로운 버그 발견 못함
- 테스팅은 정황에 의존적
- 오류-부재의 궤변 : 요구사항을 충족시켜주지 못한다면, 결함이 없다고 해도 품질이 높다고 볼 수 없음
소프트웨어 테스트 프로세스
테스트 계획 → 테스트 분석 → 테스트 디자인 → 테스트 케이스 및 시나리오 작성 → 테스트 수행 → 테스트 결과 평가 및 리포팅의 절차
소프트웨어 테스트 산출물
테스트 계획서, 테스트 케이스, 테스트 시나리오, 테스트 결과서
소프트웨어 테스트 유형
프로그램 실행 여부에 따른 분류
정적 테스트
프로그램의 실행 없이 구조를 분석하여 논리성을 검증하는 테스트
- 동료 검토
- 워크 스루
- 인스펙션
동적 테스트
프로그램 실행을 요구하는 테스트
- 화이트박스 테스트
- 블랙박스 테스트
테스트 기법에 따른 분류
화이트 박스 테스트
내부 구조를 기반으로 문장 검증, 경로 검증 등을 수행. 구문 커버리지, 결정 커버리지, 조건 커버리지, 조건/결정 커버리지, 변경 조건/결정 커버리지, 다중 조건 커버리지 테스트를 포함
- 제어구조 테스트 : 논리적 복잡도 측정 후 수행 경로들의 집합을 정의
- 루프 테스트 : 프로그램의 루프 구조에 국한해서 실시
블랙 박스 테스트
프로그램 외부 사용자의 요구사항 명세를 보면서 수행하는 테스트
- 동등 분할 테스트 : 입력 데이터의 영역을 유사한 도메인별로 유효 값/무효 값을 그룹핑하여 대표 값 테스트 케이스를 도출하여 테스트하는 기법
- 경계 값 분석 테스트 : 경계 값을 포함하여 테스트 케이스를 설계하여 테스트하는 기법
- 결정 테이블 테스트 : 요구사항의 논리와 발생조건을 테이블 형태로 나열하여, 조건과 행위를 모두 조합하여 테스트
- 상태전이 테스트 : 이벤트에 의해 어느 한 상태에서 다른 상태로 전이되는 경우의 수를 수행하는 테스트 기법
- 유스케이스 테스트 : 프로세스 흐름을 기반으로 테스트 케이스를 명세화하여 수행하는 테스트 기법
- 분류트리 테스트 : 트리 구조로 분석 및 표현하여 테스트 케이스를 설계하여 테스트하는 기법
- 페어와이즈 테스트 : Test data 값들 간에 최소한 한 번씩을 조합하는 방식
테스트 시각에 따른 분류
검증(Vrification) : 소프트웨어 과정을 테스트
확인(Validation) : 소프트웨어 결과를 테스트
테스트 목적에 따른 분류
- 회복 테스트 : 시스템에 고의로 실패를 유도하고, 정상 복귀 여부를 테스트
- 안전 테스트 : 소스 코드 내의 보안적인 결함을 미리 점검
- 강도 테스트 : 과부하 시에도 시스템이 정상적으로 작동되는지를 검증
- 성능 테스트 : 시스템이 반응하는 속도 등을 측정
- 구조 테스트 : 논리 경로, 복잡도를 평가
- 회귀 테스트 : 오류 제거 및 수정에 의해 새롭게 유입된 오류가 없는지 확인
- 병행 테스트 : 변경된 시스템과 기존 시스템에 동일한 데이터를 입력 후 결과를 비교
테스트 종류에 따른 분류
- 명세 기반 테스트 : 요구사항 명세서를 기반으로 테스트 케이스를 선정(동등 분할, 경계 값 분석, 결정 테이블, 상태전이, 유스케이스, 분류트리, 페어와이즈, 직교분할 테스트)
- 구조 기반 테스트 : 내부 논리 흐름에 따라 테스트 케이스를 작성, 확인( 제어구조 테스트, 루프 테스트, 구문 기반, 결정 기반, 조건 기반, 조건/결정 기반, 변경 조건/결정 기반, 다중 조건 기반 커버리지 테스트)
- 경험 기반 테스트 : 유사 소프트웨어의 테스터의 경험을 통대로 한, 직관과 기술 능력을 기반으로 수행하는 테스트(탐색적, 오류추정, 체크리스트, 특성 테스트)
테스트 케이스
테스트 케이스 개념
특정 요구사항에 준수하는지를 확인하기 위해 개발된 입력값, 실행 조건, 예상된 결과의 집합
테스트 케이스 작성 절차
- 테스트 계획 검토 및 자료 확보
- 위험 평가 및 우선순위 결정
- 테스트 요구사항 정의
- 테스트 구조 설계 및 테스트 방법 결정
- 테스트 케이스 정의
- 테스트 케이스 타당성 확인 및 유지보수
테스트 오라클
테스트 오라클의 개념
테스트의 결과가 참인지 거짓인지를 판단하기 위해서 사전에 정의된 참 값을 입력하여 비교하는 기법
테스트 오라클 종류
- 참 오라클 : 모든 입력 값에 대하여 기대하는 결과를 생성함으로써 발생된 오류를 모두 검출할 수 있는 오라클
- 샘플링 오라클 : 특정한 몇 개의 입력 값에 대하서만 기대하는 결과를 제공해 주는 오라클
- 휴리스틱 오라클 : 샘플링 오라클을 개선. 특정 입력 값에 대해 올바른 결과를 제공하고, 나머지 값들에 대해서는 휴리스틱으로 처리
- 일관성 검사 : 애플리케이션 변경이 있을 떄, 수행 전과 후의 결괏값이 동일한지 확인하는 오라클
애플리케이션 테스트 시나리오 작성
테스트 레벨
테스트 레벨 개념
- 테스트 활동의 그룹
- 책임과 연관됨
- 각각의 테스트 레벨은 독립적
테스트 레벨 종류
- 단위 테스트 : 사용자 요구사항에 대한 단위 모듈, 서브루틴 등을 테스트하는 단계(인터페이스 테스트, 자료구조 테스트, 실행 경로 테스트, 오류 처리 테스트)
- 통합 테스트 : 단위 테스트를 통과한 모듈 사이의 인터페이스, 통합된 컴포넌트 간의 상호작용을 검증 테스트하는 단계(빅뱅 테스트, 상/하향식 테스트)
- 시스템 테스트 : 통합된 단위 시스템의 기능이 시스템에서 정상적으로 수행되는지를 검증(기능/비기능 요구사항 테스트)
- 인수 테스트 : 계약상의 요구사항이 만족되었는지 확인하기 위한 테스트 단계(알파/베타 테스트)
분석, 설계 개발 단계에서 부과된 조건을 만족하는지 검증을 수행.
테스트 단계에서 최종 산출물에 대한 확인을 함.
테스트 시나리오
테스트 시나리오 개념
- 테스트 수행을 위한 여러 테스트 케이스의 집합.
- 테스트 케이스의 동작 순서를 기술한 문서
테스트 환경 구축
테스트 환경 구축 개념
개발된 응용 소프트웨어가 실제 운영 시스템에서 정상적으로 작동되는지 테스트하기 위하여 실제 운영 시스템과 동일한 사용의 하드웨어, 소프트웨어, 네트워크 등의 환경 시설을 구축하는 활동
테스트 데이터
컴퓨터의 동작이나 시스템의 적합성을 시험하기 위해 특별히 개발된 데이터 집합. 테스트를 효율적으로 운용하고 데이터의 기밀을 유지하며 신뢰 및 예측 가능한 테스트를 위해 테스트 데이터 준비가 필요.
애플리케이션 통합 테스트
애플리케이션 통합 테스트 수행
통합 테스트
통합 테스트 개념
소프트웨어 각 모듈 간의 인터페이스 관련 오류 및 결함을 찾아내기 위한 체계적인 테스트 기법
통합 테스트 수행 방법의 분류
- 비점증적인 빅뱅 방식 : 모든 컴포넌트를 사전에 통합하여 전체 프로그램을 한꺼번에 테스트하는 것
- 점증적인 방법 : 상향식 통합, 하향식 통합
하향식 통합
메인 제어 모듈로부터 아래 방향으로 제어의 경로를 따라 이동하면서 하향식으로 통합하면서 테스트를 진행.
스텁
모듈 및 모든 하위 컴포넌트를 대신하는 더미 모듈.
상향식 통합
애플리케이션 구조에서 최하위 레벨의 모듈 또는 컴포넌트로부터 위쪽 방향으로 제어의 경로를 따라 이동하면서 구축과 테스트를 수행
드라이버
상위의 모듈에서 데이터의 입력과 출력을 확인하기 위한 더미 모듈
테스트 자동화 도구
테스트 자동화 도구 개념
테스트 도구를 활용하여 반복적인 테스트 작업을 스크립트 형태로 구현함으로써, 테스트 시간 단축과 인력 투입 비용을 최소화하는 한편, 쉽고 효율적인 테스트를 수행할 수 있는 방법
테스트 자동화 도구의 장단점
장점
- 반복되는 테스트 재입력 작업의 자동화
- 사용자 요구 기능의 일관성 검증에 유리
- 테스트 결과의 통계 작업과 그래프 등 다양한 표시 형태 제공
단점
- 도구 사용 방법에 대한 교육 필요
- 시간, 비용, 노력 필요
- 추가 투자 필요
테스트 자동화 도구 유형
정적 분석 도구
- 만들어진 애플리케이션을 실행하지 않고 분석하는 도구
- 코딩 표준, 코딩 스타일, 코드 복잡도 및 남은 결함을 발견하기 위하여 사용
- 테스트를 수행하는 사람이 작성된 소스 코드에 대한 이해를 바탕으로 도구를 이용해서 분석하는 것
테스트 실행 도구
테스트를 위해 작성된 스크립트를 실행하고, 작성된 스크립트는 각 스크립트마다 특정 데이터와 테스트 수행 방법을 포함하고 있음.
- 데이터 주도 접근 방식 : 미리 작성된 스크립트에 테스트 데이터만 추가하여 쉽게 테스트 수행
- 키워드 주도 접근 방식 : 테스트를 수행할 동작을 나타내는 키워드와 테스트 데이터를 스프레드시트에 저장
성능 테스트 도구
애플리케이션의 처리량, 응답 시간, 경과 시간, 자원 사용률에 대해 가상의 사용자를 생성하고 테스트를 수행
테스트 통제 도구
테스트 계획 및 관리를 위한 테스트 관리 도구, 테스트 수행에 필요한 데이터와 도구를 관리하는 형상 관리 도구, 테스트에서 발생한 결함에 대해 관리하거나 협업을 지원하기 위한 결함 추적 관리 도구 등이 있음.
테스트 하네스
테스트 하네스 개념
애플리케이션 컴포넌트 및 모듈을 테스트하는 환경의 일부분. 테스트를 지원하기 위한 코드와 데이터
테스트 하네스 구성 요소
- 테스트 드라이버
- 테스트 스텁
- 테스트 슈트 : 테스트 대상 컴포넌트나 모듈, 시스템에 사용되는 테스트 케이스의 집합
- 테스트 케이스 : 입력 값, 실행 조건, 기대 결과 등의 집합
- 테스트 스크립트 : 자동화된 테스트 실행 절차에 대한 명세
- 목 오브젝트 : 사용자의 행위를 조건부로 사전에 입력해 두면, 그 상황에 예정된 행위를 수행하는 객체
테스트 단계별 테스트 자동화 도구
- 테스트 계획 : 요구사항 관리
- 테스트 분석/설계 : 테스트 케이스 생성
- 테스트 수행 : 테스트 자동화, 정적 분석, 동적 분석, 성능 테스트, 모니터링
- 테스트 관리 : 커버리지 특정, 형상 관리, 결함 추적/관리
애플리케이션 테스트 결과 분석
테스트 결과 분석
소프트웨어 결함
- 에러/오류 : 에러는 결함의 원인이 되는 것. 일반적으로 사람에 의해 생성된 실수
- 결함/결점/버그 : 에러 또는 오류가 원인이 되어 소프트웨어 제품에 포함되어 있는 결함. 이를 제거하지 않으면 소프트웨어 제품이 실패하거나 문제가 발생
- 실패/문제 : 소프트웨어 제품에 포함된 결함이 실행될 때 발생하는 현상
테스트 리포팅
- 테스트 결과 정리
- 테스트 요약 문서
- 품질 상태
- 테스트 결과서
- 테스트 실행 절차 및 평가
결함 관리
테스트 결함 관리 개념
각 단계별 테스트 수행 후 발생한 결함의 재발 방지와 유사 결함 발견 시 처리 시간 단축을 위해 결함을 추적하고 관리하는 활동
결함 관리 프로세스
- 에러 발견
- 에러 등록
- 에러 분석
- 결함 확정
- 결함 할당 : 결함을 해결할 담당자를 지정
- 결함 조치
- 검토 및 승인
결함 추이 분석
결함 추이 분석 개념
테스트 완료 후 발견된 결함의 결함 관리 측정 지표의 속성값들을 분석하고, 향후 애플리케이션의 어떤 모듈 또는 컴포넌트에서 결함이 발생할지를 추정하는 작업
결함 추이 분석 유형
- 결함 분포 분석 : 각 애플리케이션 모듈 또는 컴포넌트의 특정 속성에 해당하는 결함의 수를 측정하여 결함의 분포를 분석
- 결함 추세 분석 : 테스트 진행 시간의 흐름에 따른 결함의 수를 측정하여 결함 추세를 분석
- 결함 에이징 분석 : 등록된 결함에 대해 특정한 결함 상태의 지속 시간을 측정, 분석
애플리케이션 개선 조치사항 작성
테스트 커버리지
테스트 커버리지 개념
주어진 테스트 케이스에 의해 수행되는 소프트웨어의 테스트 범위를 측정하는 테스트 품질 측정 기준. 테스트의 정확성, 신뢰성 향상.
테스트 커버리지 유형
- 기능 기반 커버리지 : 테스트 대상 애플리케이션의 전체 기능을 모수로 설정하고, 실제 테스트가 수행된 기능의 수를 측정
- 라인 커버리지 : 애플리케이션 전체 소스 코드의 라인 수를 모수로 테스트 시나리오가 수행한 소스 코드의 라인 수를 측정
- 코드 커버리지 : 소프트웨어 테스트 충분성 지표 중 하나. 소스 코드의 구문, 조건, 결정 등의 구조 코드 자체가 얼마나 테스트되었는지를 측정하는 방법
코드 커버리지 유형
- 구문 커버리지 : 프로그램 내의 모든 명령문을 적어도 한 번 수행하는 커버리지
- 결정 커버리지 : 프로그램 내의 전체 결정문이 적어도 한 번은 참과 거짓의 결과를 수행
- 조건 커버리지 : 결정 명령문 내의 각 조건이 적어도 한 번은 참과 거짓의 결과가 되도록 수행하는 커버리지
- 조건/결정 커버리지 : 전체 조건식뿐만 아니라 개별 조건식도 참 한 번, 거짓 한 번 결과가 되도록 수행하는 커버리지
- 변경 조건/결정 커버리지 : 각 개별 조건식이 다른 개별 조건식에 영향을 받지 않고 전체 조건식에 독립적으로 영향을 주도록 함으로써 조건/결정 커버리지를 향상시킨 커버리지
- 다중 조건 커버리지 : 결정 조건 내 모든 개발 조건식의 모든 가능한 조합을 100% 보장하는 커버리지
결함의 식별 및 관리
결함 심각도별 분류
애플리케이션에 발생한 결함이 어떤 영향을 끼치며, 그 결함이 얼마나 치명적인지를 나타내는 척도
- 치명적 결함 : 기능이나 제품의 테스트를 완전히 방해하거나 못하게 하는 결함(데이터 손실, 시스템 충돌)
- 주요 결함 : 기능이 기대와 많이 다르게 동작하거나 그 기능이 해야하는 것을 못하는 결함(기능 장애)
- 보통 결함 : 제품이나 프로그램이 특정 기준을 충족하지 못하거나 전체에 영향을 주지 않는 일부 기능이 부자연스러운 결함(사소한 기능 오작동)
- 경미한 결함 : 사용상의 불편함을 유발하는 결함(표준 위반, UI 잘림)
- 단순 결함 : 사소한 버그(미관상 좋지 않음)
결함 우선순위
발생한 결함이 얼마나 빠르게 처리되어야 하는지를 결정하는 척도
- 결정적 : 하루 안에 즉시 수정. 전체 기능이 동작 x
- 높음 : 중요한 결함이 수정되는 동안, 수정되어야 하는 다음 후보
- 보통 : 실패가 발생했을 때 올바른 에러 메시지가 출력되지 않는 것과 같은 에러
- 낮음 : 디자인에서 일부 강화하거나 사용자 경험을 향상시키기 위한 작은 기능 구현에 대한 요청
애플리케이션 성능 개선
애플리케이션 성능 분석
애플리케이션 성능 점검 개요
애플리케이션 성능 측정 지표
- 처리량
- 응답 시간
- 경과 시간
- 자원 사용률
유형별 성능 분석 도구
- 성능/부하/스트레스 점검 도구(JMeter, LoadUI, OpenSTA)
- 모니터링 도구(Scouter, Zabbix)
애플리케이션 성능 저하 원인
데이터베이스 관련 성능 저하 원인
- 데이터베이스 락 : 대량의 데이터 조회, 과도한 업데이트, 인덱스 생성 시 발생
- 불필요한 데이터페이스 패치 : 실제 필요한 데이터보다 많은 대량의 데이터 요청이 들어올 경우 응답 시간 저하 현상 발생
- 연결 누수
- 부적절한 커넥션 풀 크기
- 확정(Commit) 관련
애플리케이션 성능 테스트 프로세스
애플리케이션 성능 테스트 수행 절차
- 성능 테스트 도구 설치
- 테스트 환경 설정
- 시나리오 생성
- 성능 테스트 실행 및 모니터링
애플리케이션 성능 개선
소스 코드 최적화의 이해
읽기 쉽고 변경 및 추가가 쉬운 클린 코드를 작성하는 것.
나쁜 코드
나쁜 코드 개념
다른 개발자가 로직을 이해하기 어렵게 작성된 코드
나쁜 코드 유형
- 오염 : 비즈니스 기능을 수행하지 못하는 많은 컴포넌트들이 존재
- 문서부족
- 의미 없는 이름
- 높은 결합도: 클래스와 컴포넌트 간에 데이터와 컨트롤 흐름이 네트워크로 복잡하게 연결
- 아키텍처 침식 : 아키텍처가 더 이상 구별되지 않고 여러 솔루션으로 이루어져 아키텍처상 변형들로 인해 시스템 품질이 떨어짐
클린 코드
클린 코드 개념
잘 작성되어 가독성이 높고, 단순하며, 의존성을 줄이고, 중복을 최소화하여 깔끔하게 잘 정리된 코드
특징
- 애플리케이션 설계 개선
- 애플리케이션 기능 쉽게 이해
- 버그 찾기 쉽고, 프로그래밍 속도 빨라짐
클린 코드 유형
- 의미 있는 이름
- 간결하고 명확한 주석
- 보기 좋은 배치
- 작은 함수
- 읽기 쉬운 제어 흐름
- 오류 처리 : 예외 처리, 널 체크 코드.
소스코드 품질 분석
소스 코드 품질 분석 개념
소스코드에 대한 코딩 스타일, 설정된 코딩 표준, 코드의 복잡도, 코드 내에 존재하는 메모리 누수 현황, 스레드의 결함 등을 발견하기 위한 활동
소스 코드 품질 분석 도구 유형
- 정적 분석 도구 : 작성된 소스 코드 실행시키지 않고, 코드 자체만으로 코딩 표준 준수 여부 등을 확인
- 동적 분석 도구 : 애플리케이션을 실행하여 코드에 존재하는 메모리 누수 현황, 결함 등을 분석
애플리케이션 성능 개선 방안
- 소스 코드 최적화 기법 적용 : 애플리케이션 개발 프레임워크의 코딩 표준을 설정. 인터페이스 클래스를 이용하여 느슨한 결합 코드를 구현
- 아키텍처 조정을 통한 성능 개선 : 객체의 생성과 사용을 분리함으로써 소프트웨어의 의존성을 최소화하기 위하여 팩토리 메서드 패턴을 이용
- 프로그램 호출 순서 조정 적용 : 호출하는 함수를 먼저 코딩, 호출되는 함수는 나중에 배치.
- 소스 코드 품질분석 도구 활용 : 메모리 사용 최소화 적용, 입출력 발생 최소화 적용