단위 테스트 (Unit Test)
2007-08-27
자바스터디 조대협(bcho.tistory.com)
현재 BEA Systems Korea의 Senior Consultant로 근무하고 있다.
SOA/SCA,EP,EAI등에 대한 기업 솔루션에 대한 아키텍쳐 컨설팅을 주로 하고 있으며, WAS 기반의 아키텍쳐 튜닝, 장애 대응에 대한 많은 경험을 가지고 있다.
1회. 단위 테스트의 기초
2회. 확장된 단위 테스트 도구
3회. Test Coverage 분석
오래간만에 실제 프로젝트에 코더로써 참가하였다.
엔지니어 시절부터 장애나 버그, 성능에 대한 문제를 어떻게 방지할 수 있을까에 대해서 고민하고, 문제의 추적이나 장애 대처 방안, 회피 아키텍쳐들을 고민해왔지만, 애플리케이션상에서 발생하는 문제는 발견은 할 수 있지만, 발견에 드는 비용이 크고 무엇보다 문제를 미리 예방하는 것보다는 어떤 방식이라도 비효율적일 수 밖에 없다.
이런 고민을 하던중 자바기반의 프로젝트 관리에서 IDE를
1. 테스트
소프트웨어 개발에서 테스트란, ‘요구사항에 의해 개발된 산출물이 요구사항과 부합하는지 여부를 검증하기 위한 작업’이다. 소프트웨어 컴포넌트가 기능적으로 잘 작동하는지 뿐만 아니라 넓은 의미에서 고객의 요구사항이 제대로 이해되어 반영이 되었는지 등의 모든 검증 작업을 테스트로 생각할 수 있다.
많은 소프트웨어 개발자나 엔지니어들이 “테스트”의 필요성과 중요성에 대해서 인정한다. 그러나 이 “테스트”에 시간을 투자하기 보다는 비즈니스 로직에 시간을 투자하는 것 구현체에 시간을 투자하는 것을 더 중요한 일로 생각한다. (실제 프로젝트 종료 시간이 임박해 오니까는) 또는 “테스트”를 소프트웨어 개발이 완료된 후에 하는 것으로 생각한다.
테스트되지 않고 마감일에 맞추어진 시스템은 버그에 의해서 그보다 더 많은 시간을 버그 수정에 쏟아 붓게 되고 그러다 보면 코드는 어느새 스파게티 처럼 엉켜 버릴것이다.
전통적인 소프트웨어 개발 프로세스를 보면 아래 그림과 같이 요구사항의 분석,설계,구현,테스트의 과정을 거치게 된다. 각 과정별로 검증을 할 수 있는 테스트 방법과 도구가 존재하고 이를 통해서 문제를 단계별로 미리 해결함으로써 나중에 문제 해결과 발생에 소요되는 시간과 비용을 혁신적으로 줄일 수 있다.
< 그림 1. 전통적인 소프트웨어 개발 프로세스 >
(1) 요구 사항 분석 단계의 검증
요구 사항 분석 단계의 검증은 고객의 요구 사항을 분석가가 제대로 이해하였는지 검증에서 시작한다. 소프트웨어 개발 프로젝트의 대부분의 실패 원인은 잘못된 요구 사항 분석이 많은 비중을 차지한다.
이 과정에서 필요한 것이 바로 소프트웨어 명세서이다.
이 명세서에는 기능적인 요구 사항과, 비기능적 요구 사항(성능,장애에 대한 대처 방법)등이 기술되어야 하며, 우선적으로 반영되어야할 내용에 대한 우선순위가 설정되어야 한다.
이 명세서를 고객에게 CONFIRM받는 것으로써, 요구사항이 적절히 수집되었는지 여부를 확인할 수 있다.
그러나, 명세서를 아무리 잘 작성한다고 해도, 실제 돌아가는 애플리케이션이 아니기 때문에 의사소통에 있어서 문제가 발생할 수 있다.
고객은 “A”라고 이야기 했지만, 분석가는 “a”로 이해한 경우라고나 할까?
이를 좀더 명확하게 하기 위해서 우리는 몇가지 도구를
실제 기능은 구현되지 않은 UI기반의 시스템을 작성하는 것이다. Visual Basic과 같은 4GL이나 Flex와 같은 RIA(Rich Internet Application)등을
위의 PILOT 제품 이외에, 프로세스(업무 절차)가 복잡한 경우에는 BPA(Business Process Analyze) 솔루션을
단 몇가지 주의할점은 고객은 대부분 기술적이지 못하기 때문에 (적어도 개발자보다는 기술적이지 못할것이다.) 파일럿으로 만들어진 제품을 보고 고객은 “폰트를 바꿔 주세요.” “표 간격이 멀어요..” 등의 기능이 아닌 화면 디자인을 가지고 이슈를 삼을지도 모른다. 물론 디자인에 대한 요구사항 수집 역시 중요한 일이지만, 기능적인 요구 사항 이외의 디자인적 이슈를 다루기 위한 파일럿이 아니라는 것을 고객에게 인식 시키고 기능적 요구사항에만 집중할 필요가 있다. 디자인팀이 고객으로부터 디자인에 대한 요구 사항의 수집을 원한다면, 기능적인 이슈에 대한 수집이 끝난후에, 파일럿 제품에 대한 디자인을 차차 변경해나가도 될 것이다.
※ 이글은 단위 테스트에 대해 소개하는 글이지만, 요구 사항 분석에 대한 중요성이 높기 때문에 다소 길게 요구사항 분석에 대한 검증 기법에 대해서 설명하였다 |
.
(2) 시스템 디자인 단계의 검증
분석된 요구 사항을 UML이나 각종 방법론을
다행히 복잡한 비즈니스 프로세스에 대해서는 BPA솔루션에서 시뮬레이션을 해볼 수 는 있지만, 테스팅 방법론으로 접근하는 것보다는 소프트웨어 설계 방법론으로 접근하는 것이 좋을것이다. 자세한 내용은 Software Design에 관련된 문서들을 참고하기 바란다.
(3) 구현 단계의 검증
본 문서에서 다루고자 하는 부분이 구현에 대한 검증이다.
실제로 구현 (Implementation)이 들어갔을 때, 어떻게 테스트를 할것인가에 대한 검증작업인데, 소프트웨어의 구현 작업은 크게 나누면 2가지 단계로 나눠볼 수 있다. 각각의 컴포넌트를 작성하는 것과 이 작성된 컴포넌트를 통합(Integration) 하는 단계이다.
컴포넌트를 구현하는 단계에서는 각 컴포넌트가 디자인된 의도데로 작동하는지를 검토하는 “단위 테스트”(Unit Test)를 적용할 수 있고, 통합이 된 후에는 “통합 테스트” (Integration Test)를 수행한다.
개발 과정에서 이 두가지 테스트는 고객의 요구사항과 무관하게 진행되어야 한다. “구현된 소프트웨어 자체가 디자인된 데로 작동하는가” 여부를 판단하는 테스트이다.
소프트웨어가 고객의 요구사항데로 디자인되고 그대로 작동하는가 여부는 테스트 단계에서 인수 테스트 (Acceptance test) 과정에서 검증된다.
이 글에서는 구현 단계 검증에서 특히 컴포넌트 테스트 “단위 테스트”에 대해서 설명하고자 한다.
(4) 테스트 단계의 검증
통합 테스트까지 완료되었으면 우리 손에는 완성된 제품이 있는 것이다.
이 제품을 고객에게 넘기기 위해서 고객의 요구 사항을 충족하고 있는지에 대한 테스트가 필요하다. 이 테스트는 앞에서 설명한 인수 테스트(Acceptance test)이다.
먼저 고객의 요구사항에 기술된 기능이 제대로 구현되었는지에 대한 기능적 테스트가 필요하고, 장애나 성능에 대한 비기능 테스트가 필요하다.
기능 테스트는 정해진 시나리오에 따라 입력된 값에 대해서 적절한 출력값이 나오는가를 검증해야 한다. 이런 테스트는 일반적으로 자동화된 도구 보다는 고객의 Heuristic (사람이 테스트 하는) 하게 테스트 하는 경우가 많다.
비 기능적 테스트는 기본적으로 성능 테스트와 장애 테스트가 많이 이루어진다.
이런 테스트를 위해서는 실환경과 유사한 환경을 재현해주는 것이 필요한데, 재현을 위해 사용되는 도구가 부하 발생기이다. 대표적인 상용 도구로는 Load Runner가 있고, 무료로 사용할 수 있는 도구로는 Apache JMeter, Microsoft의 MS Stress등이 있다.
이 테스트 단계에서 각종 튜닝과 장애 원인 분석, 배포 아키텍쳐에 대한 재 분석, 용량산정 등을 수행할 수 있는데, 이 강좌의 내용과는 논외니까는 여기까지만 설명하도록 한다.
2. 단위 테스트 도구
단위 테스트의 정의를 살펴보자, Pragmatic Unit Testing에서 단위 테스트를 다음과 같이 정의하고 있다.
단위 테스트는 테스트 대상이 되는 코드 기능의 아주 작은 특정 영역을 실행해 보는, 개발자가 작성한 코드 조각이다. 대개 단위 테스트는 특정 상황에서 특정 메서드를 시험해 본다. 예를 들어 어떤 정렬된 리스트에 큰 값을 넣고 이 값이 리스트 끝에 들어가 있는지 확인해볼 수 있다. |
단위 테스트는 위에서 설명한 말 그대로 개발자가 작성한 컴포넌트가 입력값에 대해서 적절한 출력값을 리턴하는 지를 체크하는 것이다.
이런 테스트 코드는 JDK 1.4 이상의 assertion등을 사용할 수 도 있겠지만, 일일이 이런 테스트를 만들고, 자동으로 이러한 테스트를 실행하기 위한 코드를 작성하기 위해서는 많은 작업이 필요하다.
이런 작업들을 덜어주기 위해서 xUnit 테스트 프레임웍들이 존재한다.
몇가지 단위테스트 도구에 대해서 알아보도록 하자.
(1) JUnit
JUnit은 자바 애플리케이션의 단위 테스트 자동화를 위한 프레임웍이다.
상당히 사용하기 쉽고, Eclipse와 같은 IDE나,ANT와 같은 빌드 스크립트에도 쉽게 통합이 되기 때문에 가장 널리 사용되고 있다.
현재 사용되는 버전은 3.8버전과 4.X 버전이 있는데, 이 4.X 버전의 경우 “@” Annotation을 사용하면서 문법이 변경되었기 때문에 주의를 필요로한다. (본 문서에서는 3. 버전을 기준으로 설명한다.)
JUnit 테스트에 대해서 간략하게 예를 들어보면 다음과 같다.
테스트를 위한 Test 클래스를 생성한다.
테스트 클래스는 junit.framework.TestCase를 상속 받아서 구현하며, 테스트 메서드는 testXXX 메서드로 구현한다.
testXXX메서드에서 테스트는 assertXXX 메서드를
다음과 같은 클래스가 있다. getCurrentVersion() 메서드는 “version 1.0”이라는 문자열을 항상 리턴해야 한다. 이 메서드의 유효성을 체크하기 위해서 테스트 클래스를 작성하면
package bcho; public class HelloWorld { public String getCurrentVersion(){ return "version 1.0"; } } |
다음과 같이 간단한 테스트 클래스를 만들 수 있다.
package bcho.test; import junit.framework.TestCase; import bcho.HelloWorld; public class HelloWorldTest extends TestCase { public void testGetCurrentVersion() { HelloWorld hw = new HelloWorld(); assertEquals(hw.getCurrentVersion(), "version 1.0"); } } |
testGetCurrentVersion에서 getCurrentVersion이 리턴 문자열이 “version 1.0”인지 테스트를 해주는 클래스이다.
이클립스에서 이 테스트 유닛을 수행하면, 각 테스트의 통과 여부를 보여준다.
|
기본적으로 JUnit은 테스트 클래스에 포함된 모든 testXXX 메서드들을 테스트로 수행하는데, 상황에 따라서 모든 테스트 메서드가 아닌 일부 메서드만 수행하고 싶은 경우가 있다. 이럴 경우 public static Test suite(); 라는 메서드를 오버로딩함으로써 구현을 할 수 있다.
아래 예제는 suite 메서드를
이 테스트 클래스를
테스트만 수행되게 된다.
package bcho.test; import junit.framework.Test; import junit.framework.TestCase; import junit.framework.TestSuite; import bcho.HelloWorld; public class HelloWorldTest extends TestCase { public void testGetCurrentVersion() { HelloWorld hw = new HelloWorld(); this.assertEquals(hw.getCurrentVersion(), "version 1.0"); } public void testGetCurrentVersion2() { HelloWorld hw = new HelloWorld(); this.assertEquals(hw.getCurrentVersion(), "version 2.0"); } public HelloWorldTest(String method){ super(method); } public static Test suite(){ TestSuite suite = new TestSuite(); suite.addTest(new HelloWorldTest("testGetCurrentVersion2")); return suite; } } |
< 그림. suite 메서드를
|
< 그림. suite 메서드를
testXXX메서드를 구현할 때, testXXX에 대해서 공통적으로 구현되어야할 부분이 존재할 수 있다. 예를 들어서 test마다 데이터베이스 Connection과 Close 작업이 필요하거나, 공통적으로 test메서드에서 File Descriptor(FD)를 사용하기 때문에 매번 File Open과 Close가 일어날 경우등이 있다.
이러한 메서드들을 매번 testXXX 메서드에 구현할 수도 있겠지만, 모든 testXXX메서드들이 메서드 전후에 수행할 수 있는 메서드들이 있다.
l protected void setUp();
l protected void tearDown();
이 둘이 그 메서드들이다. 다음 예제를 보자, 다음 예제는 testXXX메서드를 수행하기 이전, 이후에 매번 데이터 베이스 연결을 열고 닫도록 구현한 코드이다.
private Connection conn; protected void setUp(){ try{ conn = getConnection("10.136.21.1","oracle","oracle"); }catch(Exception e){ e.printStackTrace(); this.fail("Fail to open DB Connection"); } } protected void tearDown(){ if(conn != null){ try{ conn.close(); }catch(Exception e){ e.printStackTrace(); this.fail("Fail to close DB Connection"); } } } |
< 예제. setUp()과 tearDown()을
메서드 전후에 수행할 수 있는 메서드 이외에도, JUnit에서는 Test의 묶음 (위에서 설명한 Suite)단위의 setUp과 teardown 메서드를 제공한다. 여기서 적용된 클래스는 suite수행은 전후에 단한번씩만 수행된다. 구현 방법은 suite Object를 생성한후에, TestSetup이라는 클래스로 Wrapping하여 suite 메서드 내에서 return하면 된다.
public static Test suite(){ TestSuite suite = new TestSuite(); suite.addTest(new HelloWorldTest("testGetCurrentVersion2")); TestSetup wrapper = new TestSetup(suite){ protected void setUp(){ // doSomething for initial phase } protected void tearDown(){ // doSomething after end phase } }; return wrapper; } |
< 예제. setUp()과 tearDown을 suite에 구현한 예제 >
지금까지 간단하게나마 JUnit에 대한 사용법에 대해서 살펴보았다. 이외에도 Exception처리 등 몇가지 필요한 사항이 있지만, 본 강의는 JUnit의 사용법이 아니라 단위 테스트에 대한 전반적인 개념을 소개하기 위한 글이 기 때문에, JUnit에 대한 사용법은 http://www.junit.org/index.htm 의 문서나 또는 [실용주의 프로그래머를 위한 단위 테스트 with JUnit – 인사이트 ] 등의 서적을 참고하기 바란다.
지금까지 JUnit을 통한 기본적인 Java Application의 테스트 방법에 대해서 알아보았다. 단위 테스트를 Pure Java로 JUnit을
지금부터 일반적인 단위 테스트 프레임웍에 대해서 소개한다.
(2) DBUnit
인터넷 서비스 애플리케이션이나 엔터프라이즈 애플리케이션에서 많은 비중을 차지 하는 것이 데이터베이스 관련 작업일 것이다.
이런 데이터 베이스 단위테스트를 지원하는 프레임웍으로는 DBUnit이라는 것이 있다.
테스트 시나리오를 요약해보면 다음과 같다.
1) 테스트 데이터베이스를 초기화 한다. 데이터베이스의 초기화는 XML파일에서 데이터 로딩등의 통해서 DB를 초기화할 수 있다. 2) 테스트할 객체를 수행한다. 3) 데이터베이스에서 2)에 의해 수행된 결과를 쿼리한다. 4) XML 파일등으로부터 기대 결과를 로딩한다. 5) 3)과 4)를 assert 메서드를 6) 데이터 베이스를 테스트 전 상태로 원상 복구한다. |
아래 예제코드를 살펴보자.
DB 단위 테스트이기 때문에 DBMS에 대한 Connection관리가 필요한데, 베이스클래스 인
DBTestCase의 getConnection 메서드와 closeConnection 메서드에 의해서 이루어진다.
직접 getConnection과 closeConnection 메서드를 구현할 수 도 있지만, System Property에 필요한 URL,ID,PASSWORD등을 지정하면, 자동으로 DBUnit에서 Connection 관리에 대한 메서드를 제공한다.
public class EmpDAOTest extends DBTestCase { final static String JDBC_DRIVER="org.gjt.mm.mysql.Driver"; final static String JDBC_USERID="user"; final static String JDBC_USERPASSWD="password"; final static String JDBC_URL ="jdbc:mysql://localhost:20001/dbms"; public EmpDAOTest(String name){ super(name); System.setProperty( PropertiesBasedJdbcDatabaseTester.DBUNIT_DRIVER_CLASS, JDBC_DRIVER ); System.setProperty( PropertiesBasedJdbcDatabaseTester.DBUNIT_CONNECTION_URL, JDBC_URL ); System.setProperty( PropertiesBasedJdbcDatabaseTester.DBUNIT_USERNAME, JDBC_USERID ); System.setProperty( PropertiesBasedJdbcDatabaseTester.DBUNIT_PASSWORD, JDBC_USERPASSWD ); } |
<예제, DBUnit에서 Connection을 관리하는 부분 >
위의 예제에서는 Connection에 관련된 Property값을 System.setProperty를
데이터 베이스 연결을 위한 메서드가 구현되었으면, 테스트전의 데이터 베이스 초기화를 위한 작업이 선행 되어야 한다. 이 작업은 getSetUpOperation 에서 이루어진다. 이 메서드는 테스트가 진행되기전에 수행되어 리턴값에 따라서 데이터베이스를 초기화 하는데, CLEAN_INSERT는 데이터베이스를 모두 지우고, getDataSet에 의해서 리턴되는 Record들을 Insert하여 데이터베이스를 초기화 한다. 아래 예제에서는 초기화 Record 값들을 FlatXmlDataSet을
getSetUpOperation에서 사용할 수 있는 리턴값으로는 , 모든 데이터를 지우는 DELETE_ALL 이나 INSERT,UPDATE등의 작업을 수행할 수 있다.
모든 테스트가 종료된 다음에는 데이터베이스를 원상복구하기 위해서 getTearDownOperation 메서드에서 getSetUpOperation 과 같은 방법으로 정리 작업을 수행한다.
protected DatabaseOperation getSetUpOperation() throws Exception { return DatabaseOperation.CLEAN_INSERT; } protected DatabaseOperation getTearDownOperation() throws Exception { return DatabaseOperation.NONE; } protected IDataSet getDataSet() throws Exception { return new FlatXmlDataSet(new FileInputStream("c:\\temp\\dataset.xml")); } |
< 예제 . 데이터 초기화 방법 >
<?xml version='1.0' encoding='euc-kr'?> <dataset> <BCHO_EMP name='bcho' address=' </dataset> |
< 예제. 데이터 초기화에 사용된 dataset.xml >
자 여기까지 구현하였으면, 데이터베이스 테스트를 하기 위한 준비가 완료되었다. 이제부터 실제로 테스트 메서드를 작성해보자. 테스트 메서드는 위에서 설명한데로, 테스트할 메서드를 호출하고, 반영된 결과를 DBMS로부터 읽어서 기대되는 결과와 비교하면 된다.
public void testInsertEmployee(){ IDatabaseConnection conn = null; try{ // 1. 테스트할 객체를 호출하여 데이터베이스를 업데이트 한다. EmpDAO empDao = new EmpDAOImpl(); empDao.insertEmployee("kim", "YoungIn Suji"); // 2. 업데이트 내용이 반영된후, 반영된 내용을 DBMS로부터 읽어온다. conn = getConnection(); IDataSet databaseDataSet = conn.createDataSet(); ITable actualTable = databaseDataSet.getTable("BCHO_EMP"); // 3. 비교할 내용을 XML파일에서 읽어온다. IDataSet expectedDataSet = new FlatXmlDataSet(new File("c:\\temp\\dataset.xml")); ITable expectedTable = expectedDataSet.getTable("BCHO_EMP"); // 4. 위의 2,3 내용이 일치하는지 비교한다. Assertion.assertEquals(expectedTable,actualTable); }catch(Exception e ){ e.printStackTrace(); fail("Test failed during testEmpTable"); }finally{ try{ closeConnection(conn); }catch(Exception e){ fail("Fail to close connection"); }//try-catch }//finally } |
예제에서와 같이 EmpDAO를
이 둘을 비교하여, 테스트를 수행한다.
이 예제에서는 간단하게 두개의 테이블을 비교했지만, SELECT를 해서 테이블의 SUBSET으로만 비교하거나 또는 특정 컬럼들만 비교하는 것이 가능하다.
테스트 데이터를 예제에서는 XML파일에서 읽도록 하였지만, CSV파일에서 읽어 드리는 것도 가능하며, XML의 테스트 데이터도 DBMS에서 Generate하거나 DTD역시 DBMS의 쿼리 결과를
( 참고 : http://dbunit.sourceforge.net/faq.html#extract )
간단하게나마 DBUnit의 사용법에 대해서 살펴보았다. 특히 Enterprise Application의 경우 데이터에 대한 작업이 매우 중요하기 때문에, 데이터 검증에 대한 단위테스트는 매우 중요하다. DBUnit의 경우 RDBMS에 대한 테스트도 지원하지만, FlatXmlDataSet을
DBUnit을
이번 회에서는 테스트의 개념과 단위 테스트의 개념에 대해서 알아보았고, 이를 구현하기 위한 가장 기본적인 JUnit과 데이터베이스 테스트를 위한 DBUnit에 대해 알아보았다.
다음 회에서는 좀더 확장된 단위 테스트 도구를 이용한 단위 테스트 방법에 대해서 소개하도록 한다.
'ALM > Test Automation' 카테고리의 다른 글
Cactus 테스트시 주의 할점 (0) | 2008.01.17 |
---|---|
JUnitPerf (0) | 2008.01.16 |
Test Coverage 분석툴 (0) | 2007.11.08 |
Cactus 실행용 ANT 스크립트 (0) | 2007.09.13 |
Cactus 빌드 스크립트 샘플 (0) | 2007.09.12 |