카드 소팅 도입기

안녕하세요. 스포카 UX 디자이너 박정진입니다.

2016년 6월, 도도 포인트 스토어앱¹ 개편이 진행 중이었습니다. 이 글에서는 개편을 진행하면서 카드 소팅을 도입하게 된 계기와 진행 준비 및 진행하면서 겪은 경험을 작성해보고자 합니다.

도입 배경

도도 포인트 스토어앱은 매장 점주와 엔드 유저가 가장 많이 사용하는 제품으로 이미 개선에 관련된 제안은 충분히 쌓여있었습니다. 기존에 인입된 모든 제안은 그루핑을 거쳐 어떤 문제들이 있는지 파악하였고, Mix Panel 및 SQL 쿼리를 통해 최근 상황을 파악하였습니다. 이를 바탕으로 Lo-Fi 프로토타이핑을 진행하여 빠른 피드백을 받았습니다. 정성적인 리서치 없이 기존 데이터를 분석하여 프로토타입을 도출한 것은 유의미했습니다. 하지만 온전히 UX 디자이너가 진행한 분석 내용과 프로토타이핑으로 개편을 진행하려고 하니 이전에 엔드 유저와 다른 직군의 참여를 끌어내지 못한 아쉬운 경험이 떠올랐습니다.

1년 전 도도 포인트 어시스트² 개편을 진행할 때의 경험이었습니다. 당시 SQL 쿼리를 통해 매장에서 어떻게 사용하고 있는지에 대한 자료를 수집하였고, 적립 방식별로 분류하였습니다. 하지만 쿼리를 통해서는 매장마다 다양하게 설정한 숫자만 알 수 있었고, 해당 값으로 설정하게 된 배경은 알기 어려웠습니다. 매장 카테고리별로 설정한 값의 유사성을 파악할 수는 있었으나, 약 3,000개의 매장을 하나하나 확인하기는 어려웠습니다. 이에 매장과 가장 많은 소통을 하는 Partner Consultant³ (이하 PC), Store Planner⁴ (이하 SP) 팀장분들의 업무 경험을 통해서 매장별 설정 배경을 파악했습니다. 이 배경을 바탕으로 개선점을 찾고, 피드백을 받으면서 빠르게 진행할 수 있었습니다.

하지만 어느 정도 작업이 진행된 이후에 새로운 어려움에 직면하였습니다. 진행 중 팀장분들뿐만 아니라 PC, SP 팀원분들의 새로운 경험들이 추가되었고, 이를 적용하기 위해서는 다시 첫 단계로 되돌아가야 했습니다. 팀장분들을 대상으로 하여 경험 수집은 빠르게 할 수 있었지만 여러 팀원분의 다양하고, 세밀한 경험을 듣기에는 부족했던 것이었습니다. 아쉬움을 반복하지 않기 위해 초기 단계부터 여러 인원의 다양한 의견을 듣고 싶었습니다. 포커스 그룹 인터뷰(FGI)나 개별 인터뷰를 통해 의견을 수집하는 방법도 있었지만 가장 최근의 경험이 주로 이야기되는 한계와 도도 포인트 특정 기능에만 초점이 맞춰질 수 있는 우려가 있었습니다. 이를 카드 소팅을 통해 특정 기간, 기능에서 벗어나 도도 포인트 스토어앱 전체 기능에 대한 다양한 관점을 보고 싶었습니다.

진행 전

카드 소팅을 진행하기 위해서는 카드 준비, 참여 인원 모집, 일정 확정이 필요했습니다.

1. 카드 준비

먼저 도도 포인트 스토어앱의 현재 모든 기능을 나열하였습니다. 한장의 카드에 한 가지 기능을 적어서 총 24장의 카드를 만들었습니다. 또한, 추가 의견을 받기 위한 공란 카드를 마련하였습니다. 회차가 연이어 이루어질 경우 원활한 진행을 위해 총 두 세트를 만들었고, 참여자가 모든 카드를 한눈에 확인할 수 있도록 카드 리스트도 준비하였습니다.

2. 참여 인원 모집

참여 인원은 회사 인원으로 한정하였는데, 점주 및 엔드 유저에게 진행하는 데 한계가 있었기 때문입니다. 점주의 경우 직접 찾아가더라도 매장별 특수한 환경은 카드 소팅을 진행하기에 적합하지 않았습니다. 엔드 유저의 경우 참여 대상사의 기준을 세우고, 스크리닝을 통한 대상 선정 완료까지의 시간이 필요했습니다. 하지만 가장 결정적인 이유는 점주 및 엔드 유저를 대상으로 카드 소팅을 진행한 경험이 없었기 때문에 현재의 부족함을 알고, 보완하는 것이 필요했습니다. 이에 전사 이메일을 통해 카드 소팅의 목적을 안내하고, 참여 의사를 받았습니다. 이때, 1달 이내의 신규 입사자는 부트캠프 기간이었지만 양해를 구한 뒤 참여 인원에 포함하였습니다. 그 이유는 신규 입사자의 도도 포인트 경험은 엔드 유저와 가장 가까우리라 판단했기 때문입니다. 그 결과 참여 인원은 총 12명이었습니다. 1년 이상 근무한 직원을 대상으로 하여 기존 직원은 9명이 참여하였고, 신규 입사자는 3명이었습니다.

3. 일정 확정

12명의 일정은 doodle을 사용해서 참여 가능한 날짜와 시간대를 기입 받았습니다. 시간대는 최대한 많이 열어 두었는데, 1회 진행 시 참여자는 1인으로 제한하기 위해서였습니다. 카드 소팅은 개별과 그룹으로 모두 진행이 가능하지만, 참여자의 부담을 덜고 싶었으며 진행자로서 한 사람, 한 카드 소팅에 집중하기 위해서였습니다. 그리고 회차가 늘어나는 만큼 진행 중 겪는 부족한 점의 개선을 통해 첫 회차보다 나은 마지막 회차를 진행하고 싶었습니다.

진행 중

카드 소팅은 사무실 내 회의실에서 진행하였습니다. 1회 1명씩 진행하였으며, 진행 시간은 30분 내외였습니다. 첫 1~2회는 1시간을 예상하였으나, 24장의 카드로 진행하는 카드 소팅은 30분으로 충분했습니다. 그리고 도도 포인트 스토어앱 개편을 함께 진행하고 있는 Product Designer 강영화님께서 참관하였습니다. 진행자와 참관자를 함께 구성한 이유는 진행 중 참여자가 했던 이야기를 모두 온전하게 전달하기 어렵기 때문입니다. 그리고 같은 이야기라도 진행자의 주관이 들어가게 되면, 전혀 다른 방향으로 이야기가 전개될 수 있습니다. 또한, 진행자가 놓치거나 부족한 부분이 있다면 언제든지 함께 이야기할 수 있도록 하여 카드 소팅의 질을 높이고자 하였습니다.

시작 전 참여자에게 다시 한 번 카드 소팅의 목적에 대해 설명하였습니다. 이때, 카드 소팅은 어렵고 정답이 있는 것이 아닌 가볍고 정답이 없음을 말해 경직된 분위기를 해소하고자 했습니다. 참여자에게는 24장의 카드와 카드 리스트를 제공하였습니다. 카드 리스트를 통해 모든 카드를 한 번씩 읽고, 어떠한 기능을 뜻하는지 설명하는 시간을 가졌습니다. 카드에 대한 설명은 이때뿐만 아니라 언제든지 참여자가 원할 경우 온전히 이해할 수 있도록 상세하게 설명하는 것이 필요합니다. 이어서 소리내어 생각하기(Think Aloud)를 요청했고, 이를 기록하기 위한 녹음도 함께 진행하였습니다. 실제 진행을 하면서 가장 많이 겪은 경험은 다음과 같습니다.

1. “이 카드가 여기 있어도 되죠?”

카드를 분류하면서 “A 카드가 B 카드와 같이 두는 것이 맞나요?”, “레이블을 이렇게 적어도 되나요?” 와 같은 질문을 가장 많이 받았습니다. 카드 소팅에 처음으로 참여하였기 때문에, 혹시나 잘못하고 있는 것은 아닐까 하는 생각에 물어보는 경우였습니다. 이때마다 카드 소팅에는 옳고 그름이 없으며, 지금도 충분히 잘하고 있다는 것을 전달하여 더 편하게 카드 소팅에 참여할 수 있도록 하는 것이 필요했습니다. 물론 위에서 얘기한 것처럼 A 카드가 제가 생각하는 이 기능이 맞나요? 라는 질문에는 상세하게 다시 설명해야 합니다.

2. 소리내어 생각하기의 편차

소리내어 생각하기는 크게 세 경우로 분류할 수 있었습니다. A. 30분 내내 모두 소리내어 생각하는 참여자, B. 절반은 생각하고, 절반은 소리내어 생각하는 참여자, C. 초기에만 잠깐 소리내어 생각하는 참여자로 나뉘었습니다. 세 경우 모두 옳고 그름을 판단할 수는 없지만, A의 경우 행동의 이유를 명확하게 알 수 있습니다. 이에 B와 C의 경우에도 소리내어 생각하기를 다시 요청했습니다. 다만, 계속해서 요청하면 부담을 줄 수 있으므로 1회에 한해서 요청했습니다. 요청 이후에도 부족한 부분은 카드 소팅을 완료한 후 ‘왜?’라는 질문을 통해 당시의 생각을 들을 수 있었습니다.

3. 적은 수의 추가 카드 사용

의견을 받기 위한 추가 카드는 12명의 참여자 중 2명이 총 9장을 사용하였습니다. 애초 참여자당 1~2장 정도는 사용할 것이라는 예상을 크게 벗어났습니다. 물론 단어 그대로 추가 카드이기 때문에 사용하지 않아도 크게 문제는 없습니다만 그 이유를 크게 두 가지로 추측해 보았습니다. 하나는 소리내어 생각하면서 은연중에 말했지만, 추가 카드를 적을 만큼의 내용은 아니라고 생각하는 경우입니다. 다른 하나는 직원 대상으로 진행했기 때문에 추가 의견은 이미 이슈로 만들어 두었거나 충분히 이야기된 내용이라고 생각하는 경우입니다. 하지만 실제로 사용한 9장의 카드의 내용은 새로운 관점이거나 내부에서는 한 번도 들어본 적이 없는 내용이 다수 포함되어 있었습니다.

아울러 진행 중 발견한 문제점도 있었습니다. 하나의 카드(기능)가 여러 곳에서 사용하는 경우 동일한 카드를 두 장 준비하였습니다. 하지만 참여자에게는 두 장이 준비된 것이 꼭 모두 사용해야 하는 것처럼 보이거나 왜 두 장인지에 대한 의문점을 갖게 하였습니다. 여러 회차에서 반복되자 한장의 카드만 제공하고, 필요한 경우 추가 카드에 직접 작성하여 사용하도록 하였습니다. 그리고 카드 명에서도 문제점이 있었는데, 공통적으로 카드가 뜻하는 게 무엇인지에 대한 질문이 많았습니다. 제 기준에서는 충분히 이해할 수 있는 카드 명이었으나 참여자에게는 그렇지 않았던 것이었습니다. 몇장의 카드에 괄호와 설명을 추가하여 새로 만들었지만 혹시나 이전 참여자가 다르게 이해한 카드도 있지 않을까 하는 아쉬움도 남았습니다.

진행 후

총 12회의 카드 소팅을 진행하면서 느낀 점을 짧게 돌이켜보면, 좋았던 점은 다음과 같습니다.

1. 생각하지 못했던 새로운 점들을 알 수 있었습니다.

위에서 언급한 추가 카드와 함께 소리내어 생각하기를 제품팀 안에서는 알 수 없었던 새로운 관점을 알 수 있었습니다. 예를 들면, 휴대전화 번호 변경은 도도 포인트 스토어앱에서 엔드 유저가 사용해야 하는 기능이라고 생각했습니다. 하지만 제품 밖에서도 얼마든지 문제를 해결할 수 있다는 의견이었습니다. 이 밖에 더 많은 의견은 도도 포인트 스토어앱 개편뿐만 아니라 서비스 전반적으로도 개선해야 할 방향과 맞물려 더욱 값진 경험이었습니다.

2. 같은 카드를 그루핑 하더라도 서로 다른 이유를 알 수 있었습니다.

참여자 간 일정 그루핑은 유사도가 굉장히 높았습니다. 하지만 이유를 들어보면 같은 직군 내에서 서로 다르기도 하였고, 다른 직군이라도 서로 같은 경우가 있었습니다. 결과적으로 그루핑은 유사하지만, 이유와 내용은 달랐기 때문에 기능이 제공하고자 했던 본래의 목적을 다시 한 번 되새겨 볼 수 있었습니다.

아쉬웠던 점은 다음과 같습니다.

1. 24장의 카드를 기능 명으로만 적었습니다.

가령 카드 내용이 ‘휴대전화 번호 입력’인 경우, 참여자가 생각하는 휴대전화 번호를 입력하는 시점에 따라 서로 다른 해석이 되었습니다. ‘~을 위한 휴대전화 번호 입력’과 같이 명확하게 적었다면 참여자의 혼란을 줄이고, 카드 소팅에 더욱 집중할 수 있었을 것 같습니다.

2. 직원만을 대상으로 하였습니다.

도도 포인트를 사용하는 점주, 엔드 유저와 가장 가까이 있는 직원을 대상으로 하였지만, 점주와 엔드 유저의 생각이 모두 전달될 수는 없었습니다. 이번 카드 소팅에 실제 사용자를 대상으로 하지 못한 점이 가장 아쉬운 점이며, 일정 및 여건을 떠나 점주와 엔드 유저를 대상으로 카드 소팅을 진행할 여러 방안을 마련하고 있습니다.

마치며

처음에는 잘할 수 있을까 하는 걱정이 있었지만, 진행을 거듭하면서 하길 잘했다는 생각으로 바뀌었습니다. 물론 진행 중 미흡했던 점과 참여자에게 더욱 편한 환경을 제공하지 못한 것에 대한 아쉬움도 남습니다. 하지만 각 팀 참여자분들의 생각을 들으면서 최근 제품팀 안에서만 매몰되어 있었던 점을 반성하고, 환기할 수 있는 좋은 경험이었습니다.

카드 소팅 결과에 대한 분석 포스팅은 UX 디자이너 남유정 님께서 이어서 작성해주실 예정입니다.

감사합니다.