UX, A/B 테스트 넘어선 사용성 테스트: Maze, UserTesting 활용법

솔직히 말해볼까. 제품 관리자로서, 특히 디자이너 출신으로서, 나는 ‘사용자’라는 단어를 들을 때마다 묘한 긴장감과 함께 약간의 불안감을 느낀다. 마치 내 손으로 만든 결과물이, 내가 그렇게 심혈을 기울여 디자인한 인터페이스가, 실제 사용자들에게는 전혀 다른 의미로 다가갈 수 있다는 가능성 때문이다. 과거에는 단순히 A/B 테스트로 몇 가지 지표를 확인하는 것으로 만족했지만, 이제는 그것만으로는 부족하다는 것을 뼈저리게 느꼈다.

AI 스타트업에서 제품을 책임지면서, 빠르게 변화하는 시장과 사용자 니즈에 발맞추려면 더 깊은 통찰력이 필요했다. 그래서 나는 ‘사용성 테스트’의 세계로 뛰어들었다. 그리고 그 여정에서 Maze와 UserTesting이라는 강력한 무기를 발견했다. 오늘은 이 두 도구를 활용하여 어떻게 UX를 한 단계 끌어올릴 수 있는지, 내 경험을 바탕으로 솔직하게 풀어보겠다.

왜 A/B 테스트만으로는 부족한가?

A/B 테스트는 분명 강력하다. 어떤 버튼 색상이 클릭률이 높은지, 어떤 문구가 더 효과적인지 등 명확한 데이터를 제공해주니까. 하지만 이건 마치 ‘맛’보다는 ‘칼로리’에만 집중하는 것과 같다. 사용자가 제품을 사용할 때 느끼는 전체적인 흐름, 감정, 그리고 예상치 못한 어려움은 A/B 테스트만으로는 알아내기 어렵다.

개발자들은 종종 “이건 의도한 대로 작동하는데?”라고 말하지만, 사용자는 다르게 느낄 수 있다. 나의 경험상, 가장 치명적인 UX 문제는 개발자의 머릿속과 사용자의 머릿속 사이에 존재하는 간극에서 발생한다. 이 간극을 메우는 것이 바로 사용성 테스트의 핵심이다.

Maze: 빠르고 효율적인 피드백 루프 구축

Maze는 내가 가장 자주 사용하는 도구 중 하나다. 특히 초기 프로토타입이나 특정 기능에 대한 사용자 반응을 빠르게 확인하고 싶을 때 빛을 발한다. 마치 AI가 사용자의 행동 패턴을 분석해주는 것처럼, Maze는 복잡한 설정 없이도 직관적인 방식으로 사용성 테스트를 설계하고 실행할 수 있게 해준다.

Maze, 이렇게 써봤다: 새로운 온보딩 플로우 검증

우리가 새로운 AI 기능 출시를 앞두고 있었는데, 기존 사용자들의 온보딩 경험이 다소 복잡하다는 피드백이 있었다. 그래서 디자이너와 협력하여 몇 가지 개선안을 담은 프로토타입을 만들었다. 이때 Maze를 활용했다.

1. 테스트 설계: Maze에서 제공하는 템플릿을 활용하여, 사용자가 새로운 기능을 이해하고 활용하기까지의 여정을 시나리오로 만들었다. 예를 들어, ‘AI 챗봇에게 특정 질문을 하고 답변을 받는 과정’과 같이 구체적인 미션을 부여했다.
2. 태스크 설정: 각 단계별로 사용자가 특정 버튼을 클릭하거나, 특정 정보를 입력하는 등의 태스크를 설정했다. Maze는 이러한 태스크를 완료하는 데 걸린 시간, 실패율, 그리고 사용자가 길을 잃었던 지점(heatmaps, click maps)까지 시각적으로 보여준다.
3. 정량적/정성적 데이터 수집: Maze는 단순히 ‘성공/실패’ 뿐만 아니라, 사용자가 각 태스크에 대해 느낀 ‘어려움 정도’를 1~5점으로 평가하도록 할 수 있다. 또한, 테스트 말미에 자유롭게 의견을 남길 수 있는 ‘개방형 질문’을 추가하여 정성적인 피드백도 놓치지 않았다.

Maze를 통해 우리는 몇몇 버튼의 위치가 직관적이지 않다는 점, 그리고 AI 기능의 핵심 이점을 설명하는 문구가 다소 모호하다는 점을 발견했다. 이 데이터를 바탕으로 즉시 프로토타입을 수정했고, 실제 출시 전에 개발팀과 공유하여 최종 검토를 마쳤다. 이 모든 과정이 몇 시간 안에 이루어졌다. 마치 AI에게 UX 컨설팅을 받은 기분이었다.

Maze 활용 팁:

• 명확한 목표 설정: 테스트를 통해 무엇을 알고 싶은지 명확히 정의해야 한다. 모든 것을 테스트하려 하지 마라.
• 구체적인 시나리오: 사용자가 마치 실제 상황처럼 느낄 수 있도록 현실적인 시나리오를 제공하라.
• 다양한 사용자 그룹: 가능하다면, 타겟 사용자의 특성을 반영한 다양한 그룹의 사용자에게 테스트를 의뢰하라.

UserTesting: 심층적인 사용자 이해를 위한 여정

Maze가 속도와 효율성에 초점을 맞춘다면, UserTesting은 더 깊고 풍부한 사용자 경험을 이해하는 데 강점이 있다. 실제 사용자가 자신의 환경에서 제품을 사용하며 녹화된 영상을 보고, 그들의 생각과 감정을 실시간으로 파악할 수 있다. 이건 마치 사용자 옆에 앉아 그들의 머릿속을 엿보는 것과 같다.

UserTesting, 이렇게 써봤다: 복잡한 워크플로우의 병목 현상 분석

우리가 개발 중인 AI 기반 데이터 분석 툴은 여러 단계를 거쳐야 했다. 특히, 데이터 업로드부터 최종 리포트 생성까지의 워크플로우가 복잡하여 사용자들이 중간에 이탈하는 경우가 많았다. 이를 해결하기 위해 UserTesting을 활용했다.

1. 테스터 모집: UserTesting 플랫폼을 통해 우리의 타겟 고객 프로필과 일치하는 테스터를 모집했다. 특정 산업 분야의 경험이 있는 전문가들이 필요했는데, 플랫폼 덕분에 쉽게 찾을 수 있었다.
2. ‘생각하는 대로 말하기’ (Think Aloud) 프로토콜: 테스터에게는 제품을 사용하면서 떠오르는 생각, 느낌, 그리고 혼란스러운 점을 계속해서 말하도록 요청했다. 이것이 UserTesting의 핵심이다. 단순히 화면만 보는 것이 아니라, 사용자의 목소리를 통해 그들의 사고 과정을 생생하게 들을 수 있다.
3. 심층 인터뷰: 테스트 세션이 끝난 후, 각 테스터와 추가적인 심층 인터뷰를 진행했다. 이를 통해 테스트 중에 미처 파악하지 못했던 부분이나, 더 깊이 알고 싶은 인사이트를 얻을 수 있었다.

UserTesting을 통해 우리는 몇 가지 충격적인 사실을 알게 되었다. 사용자들이 특정 설정값을 이해하지 못해 어려움을 겪고 있었고, 데이터 업로드 과정에서 발생하는 오류 메시지가 너무 기술적이어서 일반 사용자에게는 전혀 도움이 되지 않는다는 것을 발견했다. 또한, 리포트 생성 버튼의 위치가 너무 눈에 띄지 않아 많은 사용자가 찾지 못하고 있었다. 이 모든 것은 실제 사용자의 ‘목소리’와 ‘표정’을 통해 얻은 귀중한 정보였다.

UserTesting 활용 팁:

• 명확한 질문 리스트: 테스트 전에 테스터에게 무엇을 질문할지 구체적으로 작성하라. 스크립트가 있으면 좋다.
• 실제 환경과 유사하게: 테스터가 가능한 실제 사용 환경과 유사한 조건에서 테스트하도록 안내하라.
• 반복적인 관찰: 여러 테스터의 영상을 반복적으로 보면서 공통적으로 나타나는 패턴을 찾아내라.

결론: ‘만들었으니 좋다’는 착각에서 벗어나기

AI 스타트업의 속도는 숨 막힐 정도다. 하지만 그 속도 속에서 ‘사용자’를 잊는다면, 아무리 훌륭한 기술도 결국에는 외면받을 수밖에 없다. Maze와 UserTesting은 단순한 도구를 넘어, 우리가 ‘만들었으니 좋다’는 자기 만족의 함정에서 벗어나, 실제 사용자의 목소리에 귀 기울이게 하는 나침반과 같다.

디자이너 출신 PM으로서, 나는 항상 ‘어떻게 하면 더 나은 경험을 제공할까?’를 고민한다. 그리고 그 답은 언제나 사용자에게 있었다. 복잡한 개발 용어와 기술적 구현에 매몰되지 않고, 사용자의 입장에서 제품을 바라보는 연습, 그것이 바로 UX 개선의 시작이다. 이 글이 당신의 제품에 대한 새로운 통찰을 제공하고, 사용자와 더 깊이 연결되는 계기가 되기를 바란다.

당신은 현재 어떤 방식으로 사용자의 피드백을 얻고 있으며, 그 과정에서 가장 큰 어려움은 무엇인가요?