네이버 검색은 어떻게 나보다 더 내 의도를 잘 아는가?[컨퍼런스 내용정리]

https://naver.me/GI8hqYjP 

1. 배경

➤사용자 의도에 적합한 검색 결과를 제공

➤사용자 의도를 이해하는 방법 

: 검색어

: 탐색 과정에서 관심사와 검색의도 구체화

: 사용자 의도를 예측한 반응형 추천

-사용자의 행동을 바탕으로 의도를 이해하고 반응형으로 컨텐츠를 제공하여 새로운 발견의 기회를 제공

 

2. 반응형 문제를 풀기 위해서는?

➤반응형 문제 정의

 : 언제/어디서/ 누구에게 

-네이버 통합검색에서 문서를 소비하고 돌아온 사용자들에게 

Input 

-사용자의 행동 기반 정보 : 검색어, 클릭한 문서, 사용자의 취향 정보 등

Output

-추천 문서

➤반응형 문제 특징 1

검색 사용자의 2가지 탐색 패턴

 : narrow-down, side by side

➤반응형 문제 특징 2

검색과 추천의 융합

➤반응형 모델

Input→retriever→ranker→output

➤반응형 문제를 풀기 위한 3가지 방법

  : Intent query + intent walker + user preference

intent Query : 클릭한 문서의 제목에서 핵심 의도를 표현하는 키워드 찾기

  

ex. Q1=아기옷 D1 = “아기옷 키즈 롱패딩은 ABC 다운 패딩 추천!!”

intent Query = 키즈 롱패딩 0.81 / 아기 롱패딩 0.75 / 롱패딩 0.71 / ABC 0.64 / 추천 0.05

 

➣모델 구조

- 네이버 언어 모델을 기반으로 (Q1, D1)와 적합한 intent Query의 유사도가 높도록 학습

-ColBERT 아키텍처 응용 : “Q1 | D1” → Quert (빠른 온라인 서빙이 가능하도록 개발) 

 

➣학습데이터 아이디어

-검색 세션 로그 (Q1, D1)→ Q2를 이용해서 학습 데이터를 구축

-의도를 벗어나는 Q2는 예외처리

Intent Walker :그래프 기반으로 사용자 의도에 맞는 문서 추천하기 (*클릭로그 활용 탐색 과정 그래프 생성)

➢유저가 클릭한 문서를 시작점으로 랜덤 워크 수행

➢유저가 클릭한 문서를 시작점으로 Lable Propagation 수행

➢(검색어-클릭문서),(세션 ID-클릭문서) 페어 등을 기반으로 GCN 임베딩 학습

User Preference : 유저의 취향에 적합한 문서를 추천하기

-추천 문서에 대한 long-term의 세대성별 선호도를 ranker의 feature로 추가

-개인의 short-term 관심사 기반한 개인화 랭킹 연구 중

 

3. 반응형 서비스 개발을 위한 꿀팁!

➢문제를 작게 정의하기

반응형 문제를 처음 고민할 때 어려움

-원질의 기반의 검색 vs 클릭 문서 추천?

-사용자 의도 : narrow down vs side by side?

 

해결 방법

-막연하게 풀고 싶은 큰 문제를 구체적이고 해결 가능성이 있는 작은 문제부터 시작

 

문제를 작게 만들기 위한 가정

-사용자 의도 : narrow down만 있다고 가정 

-대상 문서 : 여행 등 일부 카테고리 한정

 

작은 문제의 장점

-빠른 개발

-문제 해결 가능성과 효과 검증

-사용자의 피드백으로 문제 확장

 

➢학습데이터 잘 구축하기

학습데이터 정의 

-(q1, d1) → 후보 d2의 적합도 [0,1] or [1, 2, 3, 4]

 

구축 방법

-서비스 출시 전

소량의 manual 평가

-서비스 출시 후

사용자 피드백 기반으로 생성 

어려운 점 : 모델 Bias, 클릭은 없지만 적합 문서

 

개선 아이디어 예) CTR 역전되면 Negative

-검색에는 rank Bias 존재

-하위 노출 문서보다 CTR이 낮은 상위 문서는 매력이 낮을 가능성 있음

 

아이디어 검증

-후보 : positive set 5개, negative set 3개

-Manual 그룹평가와 비교해서 신뢰도 측정

-최종 선정된 Top3 학습데이터 weekly 생성

 

➢ABTest 활용하기 : 사내 ABTest 플랫폼을 이용하여 최종 검증된 모델을 서비스 적용

 

➢지표 모니터링하기 : CTR, 체류시간, LCR(마지막 클릭 비율) 등을 모니터링

 

4. 그래서 네이버에서 반응형은?

네이 통합검색 반응형 추천

-사용자 의도에 맞는 컨텐츠 추천

-정보 탐색에서 쇼핑까지

-사용자 만족도 측정 및 모델 개선 참고

 

인플루언서 문서 추천

-1년 운영 : 서비스 초기 대비 30% CTR 증가

-사용자 만족도 상승을 위한 지속적인 모델 개선

 

쇼핑의도가 발견된 사용자에게 상품 추천 ABTest