[아티클] 무신사 VoC 대시보드 제작기 part 1,2 요약

 

안녕하세요! 룬입니다🎀

요즘 각 기업에서 VoC를 어떻게 관리하고 다루는지에 대해 관심이 많은데,

우연히 무신사 VoC 대시보드 제작기 아티클을 읽게 되어 정리를 해보려구 해요. 

 

 

📍 출처 : 무신사 테크 블로그 (감사히 잘-읽었습니다!!) 

고객의 목소리를 한 눈에 볼 수 있도록: 무신사의 VoC 대시보드 제작기 Part1 by UX파트

 

고객의 목소리를 한 눈에 볼 수 있도록: 무신사의 VoC 대시보드 제작기 Part2. by 검색플랫폼팀

 

 

 

무신사 제품분석경험팀의 UX파트 - VoC 자동화 분류의 필요성과 기대효과 

 

1. VoC 소개 및 정의 

 

무신사 고객 VoC는 무신사의 서비스 현황을 파악하고 진단하는데 유용한 자료이며 비즈니스, 제품의 다양한 관점에서 통찰력을 제공한다. 고객이 무엇을 원하고, 무엇을 원하지 않는지 정성적 의견을 통해 제품의 강점과 약점, 잠재력 및 기회를 더 잘 이해하여 제품 개선 과정에서 의사 결정을 돕기 때문. 

 

2. 무신사 리서치 VoC

 

리서치 VoC는 업데이트에 대한 불편사항, 오류, 신규 기능이나 사업 영역 제안을 포괄한다. 

넓은 연령대의 고객이 사용하는 특성상 무신사 리서치 VoC 텍스트는 자연어로서 여러 감정과 톤, 어조 다채로운 맥락과 의도를 표현

 

 

❓ 리서치 VoC를 수집한 이유

 

고객의 목소리를 능동적으로 공유하고, 각 담당자들이 서비스 고도화 과정에서 고객 반응과 의견을 지속적으로 모니터링 할 수 있도록 실시간 사내 메신저 연동과 월별 리포트 발행을 시작하였음

 

 

3. VoC 처리 및 활용 과정 - 고객 VoC 인입 이후 과정 정리 

 

사내 '리서치 VoC 채널'에 고객의 개선 의견이 공유됨. 구성원 실시간 확인 가능, 댓글로 추가 논의

- 즉각적 대응, 장기적 관점에서 고민해 볼 만한 백로그 

 

UX 파트 활용

정성적 활용 - 사용성 측면에서 중요한 영역을 파악 후 > 해당 주제에 대한 선행 리서치 > 심층 인터뷰 등 고객의 목소리를 직접 듣는 과정으로 작성자의 불편의 크기나 맥락을 구체화하여 공론화 

정량적 활용 - 월 1회 '리서치 VoC리포트' 작성하여 전사 공유 > 주제별 분류, 시각화, 기간 내 인입 추이 등 제품 담당자의 참고 사항을 포함함 

 

 

4. VoC 분류체계 제작

 

VoC를 효율적으로 관리하는 체계 필요 

Why - 고객이 남긴 데이터를 잘 적재하고 활용하기 위해서 

 

How
- VoC의 양적 측정이 중요하다고 생각했다.

- 따라서 적절한 기준으로 분류하는 체계가 필요
- VoC 분류 기준 항목과 요소를 정의하고 데이터를 적재해 일관성을 유지해야 했다. 

 

=> 그동안 누적된 다량의 VoC 데이터를 귀납적으로 그룹화해 분류체계를 만들고 정교화 과정을 거침. 

 

 

❓VoC 수집 분류 시스템 고도화가 필요했던 이유

 

5. 분류 체계 고도화 과정에서 예상치 못한 문제 발생 [Problem] 

 

1) UX 리서처가 VoC를 직접 분류하는 과정에서 많은 시간과 노력 필요

- 하나하나 읽고 의미를 파악해 분류하는 작업은 업무 부담을 가중시킴 

 

2)편향이나 휴먼 에러 발생 가능성

- 자연어 VoC 데이터 특성상 명확한 해석이 어렵거나 여러 주제에 걸치는 경우,
작업자의 판단 하에 주제를 분류하는 과정에서 개인의 주관이 석여 분류 일관성에 이의를 제기할 여지 있음 

 

3) VoC 조회하는 내부 구성원(PM,개발자,디자이너)이 원하는 집계 기준으로 데이터를 찾기 어려움 

- UX 리서처 입장에서 만들어진 포맷은 제품 담당자들의 다양한 요구 부합에 어려움

- 특정한 기준으로 VoC 취합을 요청하는 경우나 산발적인 요청에 대한 대응으로 업무 지연이 생기기도 함 

 

 

 

6. 문제 해결 과정 [Solution] 

 

✔️ VoC 수집-분류 시스템 고도화 목표 설정 

 

1) VoC 데이터의 자동 분류 

- 분류체계에 맞게 자동 분류하는 과정 필요.

- 신뢰성있는 분류 기준을 갖출 수 있고, 불필요한 작업 시간을 단축할 수 있기에 데이터를 효율적으로 다룰 수 있음 

 

2) 누구나 손쉽게 조회 가능 

- 사내 구성원 누구나 데이터에 쉽게 접근 가능

 

3) 최소 기능 정의

검색 및 분류별 필터링 기능 

- 다량의 데이터를 효과적으로 시각화해 인사이트 파악을 돕는 기능 필요

- 필요한 기준으로 찾을 수 있는 키워드 검색 기능, 분류 항목별 필터 기능, CSV 다운로드 기능을 최소 필요 기능으로 정의 

 

 

✔️ 프로젝트 가치 어필 (설득 과정) 

 

VoC 자동분류 작업은 궁극적으로 제품 담당자가 가설을 세우고 문제를 해결하는 과정에서 VoC 데이터를 쉽고 편리하게 다룰 수 있게 돕는다. 이를 통해 무신사 내부 구성원은 고객의 목소리를 더 많이 인용하고, 나아가 고객을 주관적으로 해석하거나 상상하는 것이 아니라 직접 듣는 문화가 자리잡게 될 것. 

 

UX파트는 분류된 내용을 기반으로 분석, 조사, 인사이트 발굴에 더 많은 시간 투자 가능해짐. 단순 작업은 최대한 사내 플랫폼 제공 부서의 기술적 지원을 받아 자동화하고, 반면 정성적 해석과 시간 투자가 더 큰 효용을 만드는 업무에 더 집중. 이를 통해 시간을 가치있게 써 심도있는 고객 리서치를 이어가는 것이 부서의 지향점 이라는 것을 강조. 

 

---

무신사 검색플랫폼팀 - 무신사 VoC 대시보드 제작기

제품 경험 분석 팀의 요청 🧐

: 무신사의 VoC를 매일 수기로 분류하고 있어요. 더 효율적인 방법으로 분류하고 관리하고 싶어요!

 

 

1. 현황 분석

 

무신사는 1,000만 명 이상의 사용자가 이용하는 서비스이다. 사용자의 연령대는 10대가 20%, 20대가 40%로 1020의 사용자가 전체의 약 60%를 차지하고 있다. 비교적 어린 나이대의 사용자가 많은 플랫폼인 만큼 VoC(Voice of Customer)는 정말 다양한 형태의 문장으로 수집되고, 취합된 VoC들은 제품경험분석팀에서 정의한 28개의 카테고리로 분류되고 있는 현황. 

 

 

2. 핵심은 '핵심 키워드'? 

“사이트에서 검색어를 치고 검색버튼을 누르면 아무 화면이 안나오네요.

제가 원하는 브랜드나 옷을 검색할수가없어요”

라는 VoC는 '검색어', '검색 버튼', '검색할 수 없어요' 등 키워드를 통해 검색 카테고리와의 연관성을 찾을 수 있다.

 

“사이트에서 후기에 스타일 리뷰를 누르면 아무화면이 안나오네요.

제가 원하는 브랜드나 옷 리뷰를 볼 수 없어요”

 

마찬가지로 위 문장은 '후기', '리뷰', '스타일 리뷰' 키워드를 통해 후기 카테고리와 관련된 내용으로 판단할 것이다. 

 

즉, 문장 전체 내용보다 구성하고 있는 키워드가 중요한 것. 

카테고리의 핵심 키워드를 이해하고 있다면, 새로운 VoC 인입시 핵심 키워드와 매칭으로 카테고리 분류가 가능할 것이기 때문이다. 

 

VoC 카테고리 분류를 자동화 시키기 위해서 문장을 분석하여 핵심 키워드로 검색엔진에 질의하고 결과를 도출하는 과정이 필요할 것이라는 가설을 세웠다. 

 

 

step1. 카테고리별 핵심 키워드를 추출

Q. 핵심 키워드는 어떻게 정의할 것인가? 

A. Significant terms affregation - 각 카테고리에 대해 통계적 분석을 수행하여 핵심 키워드 추출 

예를 들어 100건의 VoC 문장 중 ‘리뷰’라는 단어가 70건의 문장으로 후기 카테고리에 속해 있고, 후기가 아닌 다른 카테고리에서10건 만 사용되었다면 상대적으로 ‘리뷰’라는 단어는 후기 카테고리에 더 의미 있는 키워드라고 판단 하는 방법입니다.

- '무신사', '상품' 과 같이 모든 카테고리 문장에 분포되어 있는 키워드는 순위가 낮아져 핵심 키워드로 판단하지 X 

 

step2. 단계별로 고도화해보는 핵심 키워드

problem1 핵심 키워드 간 중복 확인 

28개의 카테고리는 핵심 키워드가 겹치는 경우가 존재했음. ex) 쿠폰, 가격/세일 카테고리 모두 핵심 키워드로 '할인'을 가짐

따라서 단순히 핵심 키워드만 고려해서 카테고리를 분류할 수 없다는 것. 

 

Solution1. 키워드 간 우선순위 도출

- Significant terms aggregation에서 추출된 핵심 키워드 내 우선순위 설정하기 

 

문제 해결을 위해 핵심 키워드를 세분화하여 중요도를 기준으로 3단계로 키워드 분리 

• 가중치 상 : 가중치 중에 해당하는 키워드 중 임의로 중요도가 가장 높은 키워드들 선별
• 가중치 중 : 가중치 하에 해당하는 키워드 중 임의로 중요도가 있는 키워드들 선별
• 가중치 하 : 일반 Significant terms aggregation에서 추출된 키워드

To-be 1. 

“갓신사 쓰는 분덜 다 리뷰 때문 아님? 이번에 배송온것도 빨리 후기 써야지”

위 문장에서 분리된 키워드를 기준으로 위 ‘리뷰’는 후기 카테고리의 핵심 키워드이고, ‘배송’은 주문/배송 카테고리의 중요 키워드에 속해 있다면 핵심 키워드의 우선순위가 높아 후기 카테고리로 분류 되도록  

 

 

To-be 2. 

“후기에 성별 필터가 갑자기 안 걸려요.. 성별+키로 조회하면 검색 가능한데
성별로만 조회하면 무조건 전체 검색결과가 나옵니다. 빠른 조치 부탁드려요..”

• 후기 : 1
• 검색/필터: 4

핵심 키워드가 더 많이 일치된 카테고리로 구분할 수 있도록 

 

 

problem2. 정확도가 50-60% 밖에 되지 않음. VoC 분류 자동화하기엔 부족한 수치 

 

문제 원인 분석

• 부족한 표본 데이터
• 복합 문장 : 하나의 문장에 두 가지의 카테고리가 포함된 경우
• 중의적인 표현들의 구분이 애매 : 선호한다의 ‘좋아요’라는 표현과 무신사의 ‘좋아요’ 기능을 키워드만으로 분류하기에 역부족

 

검색엔진으로 모든 문맥을 이해하기엔 규칙이 많이 필요함 

=> 검색이 아닌, 머신러닝을 활용해 카테고리 분류 진행하기로 결정 

 

 

Solution2. Amazon Comprehend를 활용하여 카테고리 분류

- 정확한 카테고리 분류를 쉽게 수행 가능해짐. 작은 데이터 표본은 동일했음에도 92%라는 향상된 정답률 얻음.

 

데이터 정제 작업

1. 의미 없이 고정적으로 들어간 텍스트, 날짜 제거

2. 맞춤법 교정 - 한글은 띄어쓰기가 매우 중요함. 무신사 고객 대상이 1030인 경우가 많고, 주로 핸드폰을 사용하기 때문에 오탈자 교정 필요. 

 

카테고리 자동 분류 파이프라인 - 구글 시트 활용 ✅

구글시트에 업데이트 후 분류작업을 진행하여 구글시트에 분류된 카테고리를 업데이트 해줌 

구글시트 다이어그램

[장점]

• 작업자도 구글시트 바로 확인 가능 
• 불필요한 커뮤니케이션 비용 X 

 

VoC 대시보드 구축 작업은 무신사 고객이 어떤 생각을 가지고 있는지, 어떤 불편함이 있는지 확인할 수 있으며 이를 기획의 근거로 활용할 수 있다는 점에서 의미를 가지고 있다.