2019 빅콘테스트 챔피언리그 2차심사 후기

10 minute read

후기 내용은 당연히 개인적인 생각이며 당시 있던 분들과 다른 의견일 수 있으나 사실과 무관한 내용은 없습니다.

1. 수상내역

이번 2019 빅콘테스트 챔피언리그 2차 심사는 총 16팀이 선정되었고 아래와 같이 총 8팀이 수상한다고 한다.

2. 취업지원

수상과 별도로 또다른 혜택은 취업지원이다.

총 15개 기업 참여 및 총 33명 인턴 및 정규직 채용 혜택 제공(서류면제 혜택 36명 별도 제공)

3. 결과발표 및 시상식

결과 발표 : 11월 15일 금요일
시상식 : 11월 26일 화요일 용산 드래곤시티호텔

4. 이번 대회의 핵심

이제 본격적으로 이번 2차 발표심사 후기를 작성하려한다. 우선 이번 챔피언 리그 주제가 잔존가치를 고려한 유저 이탈 예측 인 만큼 엔씨소프트에서 제공한 기대이익 수식을 최대화 하는 것도 중요하고 시간에 강건한 모델을 만드는 것까지 크게 두 가지를 어떻게 해결하였는가가 가장 핵심이였다.

5. 우리 발표에 대한 평가

우리가 질문 받은 내용은 아래와 같다.

Q : 시간에 강건한 모델을 만들어야하는 것이 이번대회의 핵심이었는데 발표자료에서는 이와 관련된 내용이 없었다. 이 부분에 대해서 고려한 점이 있는가?

Q : 생존기간 예측에 있어서 분류 문제로 하여 MinMax Scaling을 사용하였는데 따로 어떤 근거가 있어서 사용하였는가?

지적 또한 받았다.

“그룹별 데이터에 대해서 그래프를 그릴때 색상이 명확하게 구분되도록 사용하는게 좋을 것 같다”

6. 이번 발표 FAQ

이번 발표를 통해 보았을 때, 시간에 강건한 모델을 만든팀은 내 기준으로 한 팀도 없었고, 이 부분에 대해 칭찬 받은 팀이 한 두 팀 있었지만 실제로 사용가능한지에 대한 부분에 대한 지적이 많았다.

또한 아래와 같은 질문은 거의 모든팀에서 빠짐없이 나온 질문이였다.

결론이 없다.
영향력이 있는 변수가 어느변수인지는 확인하였지만 실제로 그 변수가 얼마나 영향을 미치는지에 대한 내용이 없다.
모델 구조를 그렇게 구성한 이유가 무엇인가?
스태킹이나 앙상블이 사용한 이유가 무엇인가?
시간에 강건한 모델을 위해 어떤 방법을 사용하였는가?

7. 개인적인 소감

7.1. 대회 당시 현장 상황

입장과 진행 구성

발표장소는 엔씨소프트 회사 내부에 있는 강당에서 진행하였고 시간은 아침 9시 40분에 시작하여 저녁 6시 20분쯤 끝나게 되었다. 진행 순서는 아래와 같다.

Time Table

인사말
오전 4팀 발표
점심 시간 (1시간 30분)
나머지 12팀 발표
맺음말

당시 도착과 동시에 각 팀에게 개인 목걸이를 지급하였고, 팀장에게는 발표비를 위한 계좌를 받았다. 또한 점심은 지급이 아닌 각자 알아서먹으면 됐다. ~~곽철용 왈 : 사내식당은 무너졌냐?~~

발표 과정

우리는 처음에 다른팀이 발표할때 나머지팀은 밖에서 대기하는 줄 알았다. 앞서 다른팀이 발표한 내용을 통해서 이후 발표에 도움이 되는 경우 없이 형평성을 위해서 그렇게 진행할 줄 알았지만, 사실 직접 경험한 바로는 앞서 발표한 팀에 대해 도움을 받은 경우는 우리가 더 잘할 수 있겠다 또는 더 못할 수 있겠다 정도이지 웬만한 센스가 아니고서는 그 당일에 준비한 멘트를 바꾸기란 쉽지 않았다. 때문에 모든팀이 지켜보는 상황에서 발표를 진행하였고, 발표가 끝난 팀은 중간에 가도 상관없었다.

발표는 15분이였고 제한시간 1분 전에 심사위원석 옆에서 초등학교 다닐때 담임선생님이 앞에서 조용히하라며 치던 종과 같은 것으로 종료가 다가왔음을 알렸다. 종료시간이 되면 가차없이 발표를 종료하였다. 질의응답의 경우 시간은 10분이였으며 마찬가지로 종료 1분전에 종을 울렸다. 그러나 질의응답의 경우 심사위원의 질문에 대해서 중단하기가 어려웠으므로 제한시간이 되어도 답변까지 모두 들었다.

당시 수준

이은조님의 글을 통해 작년 대회에 대해서 기대보다 대학생들이 수준이 많이 높았다고 하셨고, 이번 대회는 작년보다 더 수준이 높아졌다고 한다. 그러나 이번 대회 2차 발표 심사를 처음부터 끝까지 지켜본 나의 입장에서는 내 예상과는 다르게 나의 기준보다는 낮은 수준이였다.

7.2. 다른팀에 대한 의견

발표를 보며 내 기준으로 다른 팀이 부족하다고 생각된 점은 크게 세 가지가 있다.

발표에 대한 준비성

대부분팀이 발표에 대해 크게 준비를 하지 않았다라는 생각이 들었다. 이유는 발표 스크립트를 외워온 팀은 거의 없었고, 본다하여도 발표에 대한 자신감과 팀 분석에 대한 설명이 명확하지 않았다. 때문에 이미 대회 주제와 데이터를 분석해본 나의 입장에서도 분석과정과 결론이 명확한팀이 한 두팀 정도밖에 없었다.
분석과정에 대한 완결성

일반적인 분석과정이란 문제정의 > 데이터 수집 > 데이터 정제 > 분석 > 결과 > 결론 이다. 이미 문제와 데이터가 주어진 상황에서 참가자가 해야할 일은 데이터 정제, 분석, 결과, 결론이다. 결론까지는 무리가 있다 하더라도 최소한 결과까지는 있어야한다. 그러나 경진대회라는 한계가 여기서 나타난다. 대부분 팀이 점수를 올리기 위한 과정에 거의 90%를 쏟아 부었고, 거의 모든 발표에 대한 과정이 점수를 올리기위한 맥락없는 전처리와 앙상블을 통한 모델링과 같은 과정을 통해 어떻게 점수를 올렸는지에 대한 내용이 전부였다.

그나마 변수 중요도, SHAP 그리고 LIME과 같은 방법으로 각자 변수에 대한 중요도를 나타낸 팀도 있었지만 이것이 실제 결과값에 얼마나 영향을 주었는지나 결론이 어떻게 되는 것인지 본인 팀의 결론을 명확하게 하지 못한 팀이 대부분이었다.
발표 자료에 대한 정리

심사위원마다 발표자료의 정리상태를 보며 평가에 영향이 있는지는 알 수 없으나 발표를 보는 입장에서 나는 불편했던 점이 굉장히 많았다. 피피티 자료를 만들때 하다못해 안내선도 추가하지 않는 것 같았다.

대부분 발표자료가 중구난방에 배치되어 있었고, 각 슬라이드마다 해당 슬라이드의 내용을 요약하여 보여준 팀이 많지 않았으며 그마저도 요약글이나 설명글이 슬라이드마다 여기저기 뿌려져있어 보는 입장에서 시선을 어디에 둘지 몰랐다.

그래프같은 경우도 대부분 팀이 제목, 축 설명, 그래프 내용 요약과 같은 정말 기본적인 것도 준비가 안되어 있었다. 그래프를 보며 심지어 제목과 레이블을 모두 지워버린 팀도 있었고 그래프는 엄청 크지만 글씨크기는 정말 작아서 노트북으로도 보기 힘들거같은 팀도 있었다. 또한 변수명을 그래프에 그대로 달아놓아 발표를 듣는 입장에서는 해당 변수가 무슨 변수인지도 모르는 팀이 있었다.

7.3. 우리팀의 장점

당연 위의 세가지는 우리가 더 잘한 것이라고 생각되었기 때문에 내 기준보다 낮은 점들이었다. 다른팀의 발표를 통해 당시 우리팀 발표자료와 발표의 강점이라고 생각한 것과 당시 느낀점 세 가지를 말하자면 아래와 같다.

발표에 대한 준비성

먼저 이번 분석과정을 발표한 나 자신에 대한 자신감일수도 있지만 내가 발표하기에 앞서 발표했던 팀들을 보며 처음에 마이크가 잘 나오지 않는 줄 알았다. 때문에 나는 시작과 함께 자신감있게 얘기를 하였고, 이미 나온 목소리 크기를 줄일 수는 없었다. 앞선 팀들 중 발표를 매끄럽게 진행한팀이 한 팀도 없었으며 분석과정에 대해 자신감있게 얘기한 팀 또한 없었기때문에 오히려 자신감이 생기게 되었다.

우선 심사위원들이 다른팀들 발표할때 어떤식으로 반응하는지 살펴보았다. 대부분 심사위원들은 제대로 집중하지 못하였다. 발표자를 쳐다보는 심사위원은 볼 수 없었고, 그마저도 정면을 보기보다 슬라이드를 통해 직접확인하며 살펴보는 것이 대부분이었다. 그래서 나는 발표 당시에 모든 심사위원이 화면을 주목할 수 있도록 하는 것이 우선이였다.

발표를 준비하며 내가 신경썼던 부분은 우리 분석과정의 핵심인 슬라이드를 중점적으로 강조하는 것, 중요한 단어 및 맥락에 대한 악센트 그리고 호흡이였다.

발표를 시작함과 동시에 백번은 더 말해본 것 같은 대사를 머리보다 빠르게 입이 먼저 반응하며 시작했고 빠르게 두근거리던 심장과 손에서 물흐를 듯 나오던 땀은 언제그랬냐는 듯 조용했다. 마주치기 힘들것 같던 심사위원들의 눈이 데이터 분석에 대한 호기심을 갖는 입문자의 눈처럼 보이게 되었고 발표를 하면서 우리가 준비한 분석결과에 대해 설득을 하기 위해서 발표를 시작하였다.

결과적으로 어떻게 전달이 되었을지는 알 수 없지만 발표하는 동안 노트북 화면보다는 모두 정면을 통해 슬라이드를 확인하였고 나와 눈을 마주치치 않은 심사위원은 거의 없었다. 신경쓰며 준비한 부분도 모두 잘 마무리하였다.
분석 과정에 대한 완결성

대부분팀을 보며 의아했던게 결론이 없다라는 것이였다. 심지어 목차에서 모델링이 마지막인 팀이 대부분이였고 이를 보며 나는 정말 이게 데이터 분석대회가 맞는가 라는 생각을 하였다.

가장 심했던 팀은 딥러닝을 활용한 팀이였다. 대학원생 팀이었고, 딥러닝에 대한 설명이 발표의 전부였다. 심지어 발표 내용 또한 너무나 기본적이고 입문자 수준의 과정을 정말 어렵게 잘 표현하였으며 공학적으로 여러 방면에서 많은 시도를 하였다. 발표 당시 해당 내용을 처음 듣는 사람은 15분이라는 짦은 시간에 이해할 수 없는 여러 수식과 도식표를 거의 모든 슬라이드에 한가득 넣었다. 데이터 분석에 초점이 아닌 실험적인 측면에서만 준비했기 때문에 결국 발표시간인 15분내에 모든 내용을 얘기하지도 못한채 마무리가 되었다. 덕분에 대학원이라는 곳에 대한 인식이 더 좋지 않아졌다. 분석보다는 오히려 연구에 가까웠다. 연구의 최종적인 목적은 공공의 이익을 위한 것이고 결국엔 서비스란 이 결과들을 사용하는 것이지만 이번 대회에서 만큼은 해당되지 않았다.

결론이 있었지만 아쉬웠던 팀도 많았다. 단순히 변수 중요도만 나타낸 팀, SHAP으로만 결론을 끝낸팀 그리고 중요도를 이탈의 원인으로 규정한팀들이 있었다. 우리가 잘했다라고 생각한 점은 이탈 징후 분석 및 결론에 대해서 “어디까지나 학습데이터에서의 이탈예측에 대한 패턴일 뿐이지 이탈의 원인이 아니다” 라고 명시한 점이였다. 이 말은 이번 대회에 참여하고 있다면 누구나 쉽게 접근하고 한번쯤 봤을거라고 생각되는 이은조님의 글에서 볼 수 있는 점이였다. 그러나 예상외로 이렇게 언급한 팀은 한 팀도 없었으며 대회 당시 참가팀들이 리서치가 많이 부족한가라는 생각을 하였다.
발표자료에 대한 정리

학교에서도 그랬고 여러 발표자료를 만들면서 느꼈던 점은 결국 전달력을 높일 수 있으려면 어떻게 해야 할까였다. 발표자료는 제한된 시간동안 듣는 사람이 이해할 수 있도록 전달력을 최대한 높여서 전달해야한다. 제안서와 마찬가지로 각 슬라이드마다 실제로 이해하고 넘어가는 시간은 10초 안팍이 되어야한다. 때문에 모든 슬라이드가 일관된 구성을 갖추어야하고, 전체적인 프로세스와 컨셉이 있어야하며 “그래서 어쩌라고?” 와 같은 결론이 있어야한다.

매 슬라이드마다 슬라이드에 대한 요약 설명을 상단에 배치하였고, 그래프에는 제목과 레이블에 대한 설명을 한글로 수정하여 첨부하였다. 마지막에는 최종적인 결과와 전체 과정에 대한 결론을 다시 상기할 수 있도록 언급하였고, 핵심을 말하였다. 발표자료로서 당연하다고 생각하긴 하지만 그렇지 않은 팀이 대부분이였기에 1차 심사를 통과한 팀이라는 점에서 실망감이 없지 않을 수 없었다.

7.4. 우리팀의 단점

이와 반대로 부족한 점 또한 당연 있었다.

탐사 조사

다른 팀들의 경우 게임을 직접해보고 실제 게임의 특성을 반영하여 전처리를 한 팀이 많았다. 우리도 여러 탐사조사가 있었지만 발표자료에는 결론적으로 유의미한 결과만 모아놓았던터라 그런 과정에 대한 어필이 없었나 라는 생각도 들었다. 데이터적인 측면과 EDA에 대한 부분이 부족했던 것이 사실이다.
인사이트와 시각화

이번 분석과정에서는 EDA를 통해 얻은 인사이트가 별로 없었다. 실제 점수를 낼 수 있었던 부분은 목표변수에 대한 전처리와 후처리 과정이였고 결과 분석을 통해 어느 변수가 중요한 요소였는지는 확인할 수 있었지만 직접적으로 유의미한 가설을 내놓은게 하나도 없었다.

탐색적자료분석 과정에서 유의미한 가설과 그에 대한 인사이트를 시각화하고 실제 어떤 결론을 통해 그 결과가 나타난것을 전체적으로 보여주었다면 더 이야기가 있는 분석구성이였지 않았을까 한다.
실험에 대한 과정

이번 발표에서는 대부분 팀이 실험적인 모습을 많이 보여주었다. 그것만 보여준팀도 꽤 있었다는게 문제였지만 우리 팀의 경우 전체적인 구성과 유의미한 결론에 집중하였기 때문에 실험적인 요소나 디테일은 제외하였다. 그러나 어느정도 핵심과정에 대한 전,후 과정을 비교할 수 있었다면 더 좋은 구성이 되지 않았을까 싶다.

7.5. 경진대회의 한계

리더보드

이번 발표를 보면서 이은조님도 얘기하신 점이지만 발표 중간중간 이해할 수 없는 방법을 통해서 분석한 팀들도 꽤 있었다. 어떻게 보면 새롭다고 할 수 있지만 그에 대한 근거나 이유가 없이 단순히 점수를 올리기위한 수단으로 사용한 경우는 새롭다고 할 수 없을 것 같다. 우리팀도 점수를 올리기 위한 방향성도 있었지만 그에 대한 이유와 근거는 있었다.

평가하는 입장에서도 참가자를 판단할 수 있는 객관적인 지표는 정량평가가 있어야하기 때문에 어쩔 수 없는 요소인것 같지만 최근 캐글이나 각종 경진대회를 통해서 점수에 집착하는 현상이 심해지고 있는 것 같다. 물론 좋은 방법들도 많지만 실제로는 사용할 수 없는 부분들도 많았다.
심사위원

1차 심사에 대해서는 참가팀들의 재현성과 리더보드를 통해서 평가가 되었지만 2차 심사는 최종적으로 선정된 팀들에 대해서 발표를 통해 심사가 되었다. 때문에 생각보다 많은 심사위원들이 있었다. 총 9명의 심사위원이 있었다. 그 중 2명은 엔씨소프트에서 왔었고 다른 분들은 이번 대회를 주관하는 기관이나 자문으로 오신것 같았다.

여기서 문제점은 엔씨소프트는 당연 당사에서 직접 해결하고 있는 문제이고 데이터 또한 제공하였기 때문에 전제적인 대회 상황이나 데이터에 대한 구조를 잘 알고 있었다. 그러나 2명보다 더 많은 다른 7명의 심사위원은 대회 주제나 데이터에 대한 이해가 전무한 것 같았다.

이번 대회에 리더보드라는 평가방식이 있었는지부터 처음에는 전혀 데이터에 대한 이해를 못한 질문을 하거나 기대이익이라는게 무엇인지도 모르는 것처럼 보여졌고 심지어는 발표가 전부 끝날때까지 한번도 질문이 없었던 분들도 있었다. 또는 요즘 많이 사용하는 Xgboost나 Light GBM 또는 간단한 딥러닝 모델에 대한 이해도 부족해 보였고 실제 현업에서 종사하는 사람이 아닌 교수 또는 연구직에 있는 분들처럼 보여서 실제 서비스에 대한 데이터 분석으로서의 질문과 조언은 거의 없었다.

반면 좋았던 점은 오히려 데이터나 주제에 대한 주관적인 견해 없이 데이터를 분석하는 과정만을 평가하였고 확실히 분석과정에서 필요한 근거나 부족한 설명에 대해서는 정확히 짚어내었다.

7.6. 앞으로의 경진대회의 방향성

최근 데이터 분석의 유행(?)

캐글같은 경우 수 많은 대회와 참가자들이 서로 좋은 정보들을 공유하며 계속해서 데이터 사이언스 커뮤니티로서 규모가 커지고있다. 우리나라의 경우 캐글이 대중에게 알려진건 오래되지않았고 최근에나 캐글코리아와 같은 커뮤니티를 통해서 많은 사람들의 관심이 더해지고있다. 그러나 현업에서 종사하는 사람들의 경우 이런 관심을 많이 반기지 않는다고 한다. 나 또한 내 경험상 아직까지 데이터 사이언스에 대한 관심이 좋은 방향으로 가고있는지는 잘 모르겠다. 여기서 데이터 사이언스란 인공지능에 대한 개발보다는 데이터 분석에 대한 부분이다.

딥러닝에 대한 관심이 많아지고 그에 대한 좋은 결과들이 많이 있다보니 많은 사람들이 딥러닝으로 무언가를 해결하길 원하고 딥러닝이면 무엇이든 가능할 것이라고 생각한다. 그러나 실제로 내 경험상으로도 그렇고 주변 데이터 분석에 종사하는 분들의 의견도 그렇고 사실 데이터 분석은 엄청난 모델을 필요로하지 않는 경우가 대부분이다.

내가 좋아하는 말과 항상 분석을 하면서 신경쓰는 부분은 ‘Simple is the best’ 이다. 뭐든 간단할 수록 좋다. 결국 딥러닝도 성능이 중요하지만 실제 서비스하는 사람들의 입장에서 계속해서 연구되는 부분은 단순화와 경량화이다. 따라서 어렵고 복잡한 모델을 사용하는 모델링과정에 집중하는 것보다. 데이터에 대한 전처리와 결론에 집중하는게 데이터 분석에 대한 더 좋은 방향성인 것 같다.

평가방식

빅콘테스트의 경우 캐글과 다른점은 단순히 점수로 참가자를 평가하는 것이 아닌 발표나 분석과정에 더 많은 평가요소가 있다는 점이다. 그러나 빅콘테스트의 경우 참가자에 대한 제한이 있기때문에 현직 데이터 분석 종사자가 아닌 경우 대학생이나 비전문직은 알기 어려운 부분이 많다. 때문에 보다 더 높은 퀄리티의 결과물을 위해서는 회사입장에서 원하는 방향성의 예시나 최소한의 기준 또는 구체적인 평가요소에 대한 목록을 제공하는 것이 좋아보인다.

8. 맺음말

이번 대회를 통해 최근 대학생들의 수준이나 데이터 분석의 동향(?)을 간접적으로 볼 수 있었고, 발표당시 심사위원들의 조언을 통해서 부족한 부분도 배울 수 있었던 계기가 되었다. 이번 발표를 통해서 느낀점이지만 모든 발표에 대한 질의응답의 대부분은 이은조님께서 하셨다. 첫 인사는 칭찬으로 시작해서 부족한 부분과 조언을 아낌없이 주었다. 같은 팀원도 똑같은 생각이였는지 이은조님 밑에서 일하면 정말 많은 성장을 할 수 있겠다라는 생각이 들었다.

하루종일 참가자들의 발표를 듣고 평가하는것도 쉬운일은 아니였다. 발표가 끝나자마자 페북에서 이은조님이 글을 올리시는 것보고 다음은 없을 수도 있겠구나 싶은 생각이 들었다.

현재 이미지 분야에서 딥러닝 모델에 대한 해석을 연구하고 있는 상황에서 실제 데이터 분석 대회의 발표 현장을 통해서 경험한 느낌은 딥러닝 뿐만 아니라 대부분이 모델에 대한 해석을 크게 신경쓰지 못한다는 것을 더 많이 느낄 수 있었던 기회였다. 서둘러 틈이 많을 때는 노려 빠르게 연구를 진행해야겠다.

앞으로 결과발표만 기다리면 된다. 좋은 결과가 있길 바라며 이후에도 계속해서 성장할 수 있는 기회들이 생기길 바란다. 참가자분들도 모두 수고하셨고, 긴 시간 거의 쉴틈도 없이 평가를 진행한 심사위원분들도 모두 고생하셨습니다.

Jaehyuk Heo (TooTouch)