카드 소팅 분석기

안녕하세요. 스포카 UX Designer 남유정입니다. 이번 포스팅에서는 카드 소팅 도입기1에 이어, 저희가 수행한 카드 소팅 리서치 결과를 어떻게 분석했는지에 대해 이야기하고자 합니다.

저희는 카드 소팅 리서치를 시작하기에 앞서, 제대로 리서치 준비를 하기 위한 사전 조사를 수행했습니다. 검색 결과, 카드 소팅 리서치를 진행할 때 필요한 내용과 리서치를 진행하면서 실험 과정에서 필요한 가이드를 쉽게 찾아볼 수 있었습니다. 그러나, 카드 소팅을 수행을 완료한 뒤 결과를 어떻게 분석하는 것이 잘 분석하는 것인지에 대한 자료는 리서치 수행 가이드라인에 대한 자료보다 훨씬 찾기 어려웠습니다. 특히 한국어 웹 검색 결과에서는 해당 자료가 그리 많지 않았습니다. 그래서 카드 소팅 도입기1에서 진행한 내용을 어떤 도구를 사용하여, 어떤 방법으로 분석 했는지에 대한 저희의 사례를 소개하고자 합니다.

분석 방향 설정하기

카드 소팅은 IA 등, 정보 구조에 관련된 개선을 목적으로 할 때 사전에 수행하게 되는 대중적인 UX 리서치 방법입니다. 인터뷰 등을 통해 산출되는 리서치 내용보다 사용자들이 생각하는 정보 구조에 대한 멘탈 모델을 비교적 명시적으로 수집할 수 있다는 이점이 있고, 다른 리서치 방법에 비해 비교적 적은 품으로 리서치를 수행할 수 있다는 장점 또한 있기 때문입니다.

저희가 카드 소팅 리서치를 수행한 목적은 2012년부터 약 5년 동안 800만 명의 사용자가 쓰고 있는 도도 포인트 태블릿 앱의 IA를 개선하여, 보다 명료하고 간결한 적립/사용 경험을 주기 위함이었습니다. 따라서 제품의 실질적인 개선을 위해서는 리서치 결과가 실제 제품 디자인을 넘어가기 이전에 다음에 대해 명확히 디렉션을 줄 수 있는 형태로 정리되어야 했습니다.

1. 사용자는 특정 정보 또는 정보 뭉치가 어떤 활동과 관련된 내용이라고 생각하는가
2. 사용자는 정보 뭉치에서 어떤 정보가 더 중요하고, 어떤 정보는 덜 중요하다고 생각하는가
3. 사용자가 포인트 적립/사용을 하는 과정에서 서로 관련이 높다고 생각하는 정보는 무엇인가

따라서 각 내용을 도출하기 위해 다음과 같은 분석 방법을 각각 사용하기로 결정했습니다.

분석 수행하기

1. 내용 분석

저희는 오프라인으로 카드 소팅을 수행했기 때문에, 각 그룹 이름과 더불어 Think aloud 자료까지 수집할 수 있었습니다. 실험 참여자들이 각 그룹 이름을 그렇게 명명한 이유가 무엇인지, 어떤 생각을 하면서 해당 내용을 그루핑 했는지에 대한 내용을 충분히 확보하였으므로, 해당 내용을 잘 살릴 수 있도록 내용 분석을 수행하였습니다. 다만 이 분석 자료는 개별적인 정리에서 그치지 않고, 3의 그룹 간 유사도 분석 결과와 조합하여 유사한 그룹에서 공통적으로 사용된 설명 방식과 그룹 이름으로 정리되어, 해당 그룹을 정의하고 레이블을 작성할 때에도 참조될 수 있는 형태로 정리하였습니다.

2. 빈도 분석 및 평균값 비교

카드 사용 수 평균값 비교를 통해 평균적으로 카드가 사용된 값보다 상대적으로 사용 수가 적거나 많은 카드로 실험 참여자들이 생각한 정보의 중요도를 파악하고자 했습니다. 하지만 카드 사용 수가 많은 것은 ‘다른 정보보다 중요한 정보이다.’ 라는 의미를 반드시 내포하고 있는 것은 아닐 수도 있습니다. 많이 사용된 카드는 각 그룹 내 최우선 정보는 아니지만, 여러 곳에서 필요한 정보이기 때문에 카드 사용 수가 단순히 높았을 수도 있습니다. 또한 카드 사용 수가 적은 정보라고 해서 반드시 중요도가 낮은 정보가 아닐 수도 있습니다. 사용자가 카드의 의미를 제대로 이해하기 어려웠거나 어떤 그룹에도 넣기 애매하여 사용 수가 낮은 것일 수 있으므로, Think aloud 내용 분석 등의 자료와 반드시 참조하여 최종 결론을 도출해야 했습니다.

3. 그룹 간 유사도 분석

저희는 12명의 실험 참여자로부터 ‘포인트 적립’ 과 관련된 카드 그룹 45개, ‘포인트 사용’과 관련된 카드 그룹 48개를 수집하였습니다. 카드 소팅을 하였을 때 가장 잘 분석해야 하는 것은 ‘실험 참여자들이 어떠한 패턴으로 정보 뭉치를 만들었는지’ 입니다. 하지만 수십 개의 그룹에서 눈대중으로 패턴을 파악한다는 것은 불가능했습니다.

보통 카드 소팅 등 집단의 유사도를 판단하는 군집 분석을 통계적으로 수행할 때에는 SPSS 등을 사용, 계층적 군집 분석을 수행하여 집단 간 거리를 측정한 덴드로그램 등을 출력하는 방법을 수행합니다. 하지만 저희가 수집한 결과는 눈으로 패턴을 파악하기에는 양이 많고, 통계 프로그램을 통해 분석을 돌리기에는 표집이 적어 통계 분석 프로그램을 사용할 수 없었습니다. 아쉬운대로 눈대중으로 패턴을 찾아보려 했으나, 그러기에는 표집이 많았고, 해당 패턴의 타당성을 입증할 수 있는 방법이 없기 때문에 그룹 간 유사도 분석(similarity matrix)를 직접 그려 그룹 패턴을 파악하기로 결정했습니다.

또한 그룹 간 유사도 분석은 해당 분석을 지원하는 카드 소팅 전문 툴을 사용해서도 분석할 수 있으나, 오프라인에서 물성이 있는 카드를 통해 실험을 진행한 경우에는 별도의 분석 도구를 이용하기 어려웠습니다.

잠깐! 온라인 카드 소팅 도구를 사용하기 어려웠던 이유는?

카드 소팅 툴들은 대개 해당 도구를 이용하여 카드 소팅 리서치부터 분석까지를 모두 진행하는 상황을 가정하고 있었습니다. 따라서 해당 도구를 이용해 카드 소팅을 수행, 자동으로 입력된 실험 데이터를 분석해주는 시나리오만 지원하고, 실험 데이터가 별도의 파일로 있는 경우에는 별도의 파일 import 기능을 제공하지 않고 있기 때문에 툴을 쓰려면 모든 실험 데이터를 일일이 따로 집어넣어야 하는 불상사가 발생했습니다.

그래서 저희는 그렇게 하기보다는, 엑셀을 사용하여 직접 결과 분석을 수행하는 방법을 택했습니다.

엑셀로 그룹 간 유사도 분석 (similarlity matrix) 수행하기

1) 우선 엑셀 시트에 각 그룹이 어떤 카드로 구성되었는지를 아래과 같이 매핑합니다.

2) 그룹의 갯수만큼 행과 열에 x축 y축을 그리듯 넘버링합니다.

3) 행과 열을 넘버링한 곳 (1,1) 영역에 커서를 둡니다.

4) 다음의 수식을 입력한 뒤 ctrl + shift + enter로 값을 채웁니다.

맥을 사용하고 있다면 command + shift + enter로 입력해도 무방합니다. 3)에서 커서를 두었던 한 셀에 값이 채워지면, 해당 셀을 드래그를 하여 나머지 셀도 모두 값을 채웁니다. 아래에 소개된 식은 1그룹과 1그룹의 유사도는 (1,1) 셀에, 1그룹과 2그룹의 유사도는 (1,2) 셀에, 1그룹과 3그룹의 유사도는 (1,3) 셀에 … 45그룹과 45그룹의 유사도는 (45,45) 셀에 계산하여 각각 입력하도록 구성되어 있습니다.

=AVERAGE(IF(INDIRECT("$B$"&COLUMN(B2)):INDIRECT("$ab$"&COLUMN(B2))=$B2:$ab2,1,0))

5) 수식을 채우고 나면 다음과 같이 값이 입력되는 것을 확인할 수 있습니다.

이름 모를 숫자가 빼곡히 채워졌습니다. 보다 명료한 확인을 위해 조건부 서식을 적용하여 컬러링을 해보았습니다. (1,1) (2,2) (3,3) … (45, 45)에 해당하는 셀들이 모두 1 이라는 값으로 대각선을 그리고 있는 모습을 볼 수 있습니다. 각 그룹은 자기 자신과 비교하였을 때 당연히 100% 유사하기 때문입니다. 따라서 입력한 셀들은 1점을 만점으로 하여, 1점에 가까울수록 각 그룹의 유사도가 높도록 계산되었음을 알 수 있습니다. 첨부된 이미지처럼 조건부 서식을 적용하여 컬러링 한 다음 각 셀을 적당히 내림/오름차순 정리하다 보면 유사도가 높은 그룹을 빠르게 눈으로 확인할 수 있게 됩니다.

자료 해석하기

자료를 도출하고 난 후에는 도출된 자료를 기반으로 해석을 시작했습니다. 해당 단계까지 수행하고 난 뒤 저희가 해석한 내용은 다음과 같습니다.

1. 유사도가 높고 낮은 그룹 추출

그룹을 추출할 때, 몇점까지를 유사도가 높고 낮다고 볼 지 결정했습니다. 이때, ‘포인트 적립’과 ‘포인트 사용’ 그룹에서 각각 그 점수 기준을 달리 할 수밖에 없었습니다. 예를 들어, ’포인트 적립’의 경우 실험 참여자들이 서로의 생각이 비슷하여 상당히 유사한 그룹이 많이 도출되었습니다. 그래서 1점 만점에 0.8점 이상이어야 유사도가 높다고 분류, 상당히 높은 기준을 적용하여 그루핑을 했습니다.

그에 반해 ‘포인트 사용’은 다양한 포인트 사용 방식과 내 정보 조회 및 입력 활동까지 있는 등, 보다 다양한 정보와 활동이 모여 있는 영역이라는 특성 때문에 실험 참여자들의 생각 또한 많이 다양해서 ‘포인트 적립’ 쪽보다 느슨한 기준을 두어야 그룹을 지을 수 있었습니다. 이처럼 어떤 주제에 대한 그루핑이냐에 따라 유사도 적용 기준은 변경될 수 있다고 판단했습니다. 유사도가 낮은 그룹을 도출할 때 또한 마찬가지 과정을 거쳤습니다.

2. 추출된 그룹들의 특성을 밝히고 제언

저희는 제품의 개선에 직접 적용할 수 있는 제언을 크게 다음과 같은 분류로 정리했습니다.

1. 서로 참조되어야 할 정보 정의
   • 유사도 높은 그룹들에서 공통적으로 사용된 카드를 밝히고, 해당 정보들은 반드시 IA 과정에서 고려되어 서로 참조할 수 있도록 구성되어야 함을 제언했습니다.
2. 서로 멀게 설계되어야 할 정보 정의
   • 유사도 낮은 그룹을 밝혀, 각 그룹은 사용자들이 가장 관련 없는 활동과 정보로 인지하고 있음을 밝히고, 해당 내용들은 최대한 IA에서 멀게 설계되도록 제언했습니다.
3. 전역적으로 참조되거나 강조되어야 할 정보 정의
   • 각 그룹에 사용된 카드를 도출하여 분석하다보니, 그룹과 상관 없이 여러 그룹에서 쓰인 카드가 있었습니다. 저희는 이러한 카드는 ‘특정 활동에 종속되지 않고 언제나 사용자들이 보고 싶어하는 정보’ 라고 해석했습니다. 따라서 해당 내용은 특정 페이지에 종속되기보다는 전역적으로 참조되거나, 해당 정보가 강하게 강조되어 다른 활동을 수행하면서도 어느정도 기억에 남을 수 있도록 디자인 되어야 함을 제언했습니다.
4. 레이블 제안
   • Think aloud & 그룹 이름 내용 분석 자료와 함께 해석하는 과정을 다시 거쳐, 해당 그룹이 어떤 활동에 관련된 그룹으로 사용자들이 인지하고 있으며 어떤 레이블로 설명되면 적절한지 제언했습니다.

그냥 툴 쓰면 안될까요?

온라인으로 카드 소팅 리서치를 진행하고자 할 경우에는, 실험 결과를 한 곳에 수집하여 한꺼번에 분석하는 것이 시간적으로 이득이기 때문에 카드 소팅 도구를 사용하는 것이 여러모로 좋다고 생각합니다. 저희는 이번에 오프라인으로 카드 소팅을 진행했기 때문에 별도의 도구를 사용하지 않았지만, 만약 프로그램을 사용한다면 아래 2가지 프로그램을 사용하려고 했었습니다. 아래에 프로그램은 무료 프로그램이면서도 OS의 영향을 받지 않아, 어떤 기종의 컴퓨터에서도 비교적 자유롭게 카드 소팅을 진행할 수 있고 결과까지 세밀하게 분석해서 출력해 준다는 장점이 있습니다.

• xsortapp
• D-sort

이 외에도 카드 소팅 분석을 수행할 수 있는 도구는 여러 가지가 있지만, 유료 도구는 본 글에서는 소개를 지양하고자 했습니다. 규모가 크지 않은 스타트업에서 월별 요금제를 지불하면서까지 카드 소팅 도구를 자주 사용할 일이 많지 않고, 매우 정기적으로 동일한 방법론을 사용하여 리서치를 수행하는 일이 적다고 판단했기 때문입니다.

마치며

카드 소팅을 돕는 도구를 함께 소개했지만, 오프라인 카드 소팅을 했기 때문에 엑셀을 써본 입장에서 한번쯤은 엑셀을 사용해서 직접 결과 분석을 수행해 보는 것도 좋다고 느낀 부분은 다음과 같습니다.

1. 왜 이렇게 분석되는지에 대해 면밀히 학습할 수 있었습니다. 분석 도구를 사용하면 결과를 자동으로 결과를 분석해 준다는 이점이 있습니다. 하지만 방법론에 대한 사전 지식이 없다면 해당 자료를 어떻게 해석해야 하는지 판단하기 어려울 수 있습니다. 저는 해당 분석 방법론에 대해 알고 있었음에도 이를 실제로 실행해보면서 다시 한 번 분석 매커니즘에 대해 확실히 알게 되어, 기존에 알고 있던 내용이 머리 속에서 더욱 명료해지는 것을 느낄 수 있었습니다. 따라서 카드 소팅 분석 방법 학습의 차원에서, 별도 도구를 빌리지 않고 한번쯤 전 과정을 스스로 진행해 보는 것이 보다 자료를 깊게 통찰하고 추가적인 인사이트를 도출해내는 데에도 도움이 될 것이라고 생각했습니다.
2. 자료를 내 입맛에 맞게 가공하기 쉬웠습니다. 툴을 사용하면 툴에서 제공하는대로 자료를 보아야 한다는 한계가 있고, 파일로 export를 해도 결과값만 출력되기에 원하는대로 자료를 가공해가며 보는 데에 한계가 있었을 것입니다. 이런 점에서 직접 분석이 툴을 사용하는 것보다 장점이 있었다고 생각합니다.

다만, 카드 소팅 참여자가 훨씬 많거나 온라인으로 카드 소팅 리서치를 진행하는 환경이라면 툴을 사용하는 것이 훨씬 효율적이라고 생각합니다.

본 글이 카드 소팅 분석을 위한 케이스 공유가 되길 바라며, 앞으로도 주기적으로 UX 리서치 및 분석 방법 케이스를 공유하겠습니다. 감사합니다.

(+) 함께 읽을 거리를 하나 소개합니다. 제가 수행한 분석 방법 안에서 기술된 또다른 케이스 공유 아티클이며, 제가 일일이 기술하지 않은 내용까지 세밀하게 적혀 있는 부분이 있어 함께 공유합니다.¹