실험을 잘한다는것은 무엇일까?[컨퍼런스 내용정리]

https://if.kakao.com/2022/session/4  

 

*상황 

: 나는 서비스(혹은 사업)부서에 AI 기술(예. 개인화 추천 기술)을 제공하고 있다. 

 

*솔루션 탐색

: 몇몇 논문을 통해 성능이 좋다고 입증된 솔루션 A(예. 개인화 추천 알고리즘)를 알게 된다. 얼른 구현해서 서비스 환경에서 실험한다.

 

*첫 실험 결과 <“성능이 애매하다.”>

: 기존 솔루션 대비 성능이 비슷하거나 떨어진다.

 

*실험 결과가 애매하면, 보통 2가지 선택지가 존재

1. 솔루션 A를 포기한다.

- 다른 솔루션을 찾는다. 

- 엑스칼리버 루트 

:다른 누군가가 솔루션 A를 실험한다.

 

2. 솔루션 A를 보완한다.

 

“마무리 조건” 

: 보완 실험을 언제까지 혹은 어디까지 진행해보고 진척이 없으면 마무리 하겠다는 기준

 

*시행착오 과정에서 했던 고민들을 정리

Q1. 실험 결과를 어떻게 남겨야 다음 실험에 도움이 될까?

Q2. 보완 실험은 어디서부터 진행하는 것이 좋을까?

Q3. 마무리 조건을 어떻게 세우는 게 좋을까?

→ key feature에 기반해서 판단하면 됨

 

=> ”실험을 잘한다는 것은?”

: 실험에는 승부수(이 실험이 성공할거라고 생각하는 이유)가 있어야 한다. 

 

+ 

- 실험결과 분석이 쉬워짐(→이전 실험결과가 다음 실험에 도움 됨)

1. 승부수가 되는 key Feature 구현을 제대로 했는지 확인

2. Key Featue가 실제로 문제 해결에 도움이 되는지 확인

 

- 실험 사이클을 짧게 가져갈 수 있음

: 어떤 부분을 중요하게 구현해야 하는지 정확하게 알고 있기 때문

 

EX. 승부수 O 실험 vs X 실험

 

X 실험 

: 솔루션A가 최근 논문들을 통해 성능이 좋다고 입증되었다. 솔루션 A는 기존 솔루션보다 성능이 좋을 것이다.

 

O 실험 

: 솔루션 A는 적은 데이터로 효율적으로 학습할 수 있는 장점이 있다. 기존 솔루션은 데이터가 적은 환경에서 성능이 떨어지는 이슈가 있는데, 이 환경에서는 솔루션 A가 효과적일 것이다. 

 

Key Feature : 문제 해결의 핵심이 되는 특징

 

Environment : 문제 환경

 

-승부수를 잘 세우려면?

1. 내가 풀려는 문제(+환경)을 이해해야 합니다.

2. 기존 솔루션에 대해 이해해야 합니다.

3. 내가 구현하려는 솔루션에 대해서도 깊이 있게 이해해야합니다.