As-Is Usability Test

안녕하세요. 스포카 디자인팀의 박지선입니다. 이번 글에서는 UX방법론 중 하나를 공유해보려고 합니다. 바로 As-Is Usability Test입니다. (이하 UT)

Usability

사용성이란 넓은 의미에서는 시스템 사용 환경에 따라 관련된 모든 요소를 포함시킨 개념입니다. 사용자가 특정한 과업을 특정한 환경에서 수행할 때, 그 효과성이나 효율성, 그리고 만족도를 포함합니다. 흠, 말이 어렵죠? Nielsen Norman Group에서는 좀 더 이해하기 쉽게 정의해 놓았습니다. 바로, 유저 인터페이스가 얼마나 쉽게 사용할 수 있게 되어 있는지를 평가하는 속성이라고 말이죠.

목적

사용자의 현 시스템의 업무 사용을 관찰함으로써 사용패턴의 흐름을 파악하고 수정되어야 할 프로세스를 도출하기 위해 실시합니다. UT 대상자인 시스템 이용자에게 실제 업무 수행 상황을 가정하고, 미리 작성된 Task Scenario에 맞춰 업무를 수행하도록 하여 사용자의 업무 수행 모습을 관찰/기록하며 진행합니다.

온라인 기법

1. Eye tracking 사용자에게 시스템을 보여주고 업무 화면에 대한 눈동자의 움직임을 추적하는 기법으로, 시선의 움직임이 추적 가능합니다. 그리고 눈동자가 오래 머물면 그 지점의 색이 파란색에서 빨간색으로 변하는 Heat Map이 생기는데 이것을 통해 사용자 관찰과 인지 과정 측정을 분석할 수 있습니다.

2. Morae 관찰자, 관리자로 구성되어 사용자에게 테스트가 진행되며 툴을 통해 사용자에게 단계별 지시를 하여 업무의 동선을 녹화, 테스트를 진행하는 프로그램입니다. 관찰자는 사용자의 행동패턴에 대한 채팅을 통해 공유하고 패턴에 대한 상세 결과를 검토하여 작업의 에러율이나 수행 시간의 통계를 빠르게 도출하고 분석할 수 있습니다.

방법

테스트할 공간은 사용자가 자기 위치에서 편하게 작업하는 것과 같은 느낌으로 세팅해야 합니다. 참여자와 진행자 단 둘이 있도록 하고, 관찰 룸에는 관찰자와 회사 내부 관계자가 빔프로젝트를 통해 참여자가 사용성 테스트를 진행하는 전 과정을 모니터링할 수 있게 합니다. 그래서 진행 요원은 최소 2명, 최대 4명이 필요합니다.

Think Aloud 방식
테스트를 할 때는 씽크 얼라우드 방식을 사용하면 매우 효과적입니다. Think aloud 방식은 사용자가 시스템을 사용하면서 행동하는 것이나 말하는 내용을 오디오나 비디오 테이프를 이용하여 녹화하는 것을 말합니다. 과제 수행 시 참여자가 메뉴나 버튼, 아이콘을 클릭한 의도는 무엇인지, 과제를 수행 시 발생하는 장애 요인은 무엇인지 등 과제 수행시 느꼈던 점을 혼자 중얼거리며 자신의 생각이나 느낌을 진행자에게 전달하는 방식이죠. 이 방식을 통해 진행자에게 과제 수행 중 자신이 겪는 어려움, 실수한 이유, 오류 요인을 접하게 된 이유를 전달함으로써 참여자가 어떤 의도에서 메뉴나 버튼을 클릭했는지 의도 를 파악 가능합니다.

진행 순서

진행순서는 아래와 같습니다.

1. UT 계획서 작성
실제 테스트를 진행하기 전 UT의 목적, 방법, 방식 및 언제, 어디서, 누구를 대상으로 테스트를 진행할 것인지 기술.

2. UT 계획서 리스트 분류
제이콥 닐슨의 휴리스틱 평가를 기반으로 한 UT에 준한 기준표와 UT를 하는 지향점 도출과 목적 달성을 위한 계획 분류 리스트를 작성.

3. 스크리너 작성 및 UT 대상자 선정
적절한 UT 대상자를 섭외하기 위해 고객 요구사항 및 UT계획 리스트 분류표를 바탕으로 다음 문서를 작성

UT 대상자 섭외 기준표 : 사용자 테스트에 적절한 대상자를 선정하는 기준을 정함.

UT 스크리너 : 적절한 대상자 섭외를 위해 시스템 사용도, 이용경험, 숙련도 등에 대한 기초 데이터 질문지 작성

UT 대상자 선정 : UT 스크리너 설문을 통해 UT 섭외 기준표를 적절한 대상자를 선정

4. 질의서 및 관찰 항목 작성
Task 시나리오 작성에 앞서, UT를 통해 얻어내야 하는 구체적이고 세부적인 항목을 테스터의 등급 및 메뉴 별로 정리하여 작성

5. UT 진행시 필요한 문서 작성

UT 사전 안내문 : 테스터에게 사용성 테스트에 대한 목적을 설명

Task 시나리오 :‘질의서 및 관찰 항목 문서’를 바탕으로 테스터에게 지시해야 하는 Task를 작성

만족도 평가 설문지 : 테스트 완료 후 테스터를 대상으로 Task 수행 시 만족도 조사하는 설문지를 작성

관찰자 노트 : 테스트시 진행 담당자가 테스터의 수행작업경로와 예상된 작업경로와 차이점을 메모할 수 있는 문서를 작성

6. UT 진행

a. 오리엔테이션 : 테스터에게 사용성 테스트에 대한 목적을 설명.

b. UT 시작 : 테스터는 주어진 Task 시나리오 수행하고, 관찰자는 예상작업경로와의 차이점 및 작업수행 결과를 관찰자 노트에 작성

c. 만족도 평가 설문 : 테스트 완료 후 테스터를 대상으로 Task 수행시 만족도를 조사

d. 참가자 면담 : 테스트와 평가 설문 완료 후 Task 항목 및 기타 사항에 대해 토론 및 인터뷰를 진행

7. UT 결과 정리 및 분석

과제별 성공/실패 여부, 소요시간, 난이도 수준, 이동 동선 분석

전체적 UI 만족도 분석

경쟁사 대비 UT 결과 비교

장애나 문제에 대한 UT결과 정리 및 분석

마무리하며

진행순서가 생각보다 간단하지 않죠? UT는 단순히 사용자를 선정하여 사용자의 행동을 기록하는 것이 아닙니다. 그렇기 때문에 UT를 제대로 실시하기 위해서는 적지 않은 준비가 필요합니다! 테스트를 통해 어떤 것을 얻고자 하는지, 그에 맞게 어떠한 사용자를 대상으로 테스트해야 하는지 등 준비와 계획에 철저하게 공들일수록 많은 인사이트를 발굴할 수 있겠죠!

읽어주셔서 감사합니다.

---

Image references

• http://www.branded3.com/wp-content/uploads/2009/03/eye-tracking-transactional.gif
• http://www.akinsdesigns.com/images/morae_sample_400x282.jpg

Contents references

• http://www.nngroup.com/articles/