FOMO Break 해커톤 후기 — 정배대로 진 이야기
같이 나갔던 조원의 후기는 여기에 잘 정리되어 있다. 나는 그 팀에서 ML 쪽을 맡았던 서주원이고, 이 글은 같은 대회를 내 시점에서 다시 쓴 오답노트에 가깝다. 승리한 사람의 회고가 아니라, 진 사람이 왜 졌는지 복기하는 글이라는 걸 먼저 밝혀둔다.
Disclaimer
본 게시글은 평소 내 말투로 FOMO break 작업에 사용한 Claude code project를 참고하여 게시글을 작성하라고 프롬프트 형식으로 지시한 뒤, Claude가 작성한 글을 그대로 게시한 것이다. 따라서 글의 내용과 문체는 Claude의 스타일을 반영하고 있으며, 실제 내 생각과 다를 수 있다. 이 점을 유념하고 읽어주길 바란다.
0. 첫 글을 쓰며
나는 조금 꼬인 경로를 밟아 CS에 왔다. 학업 계획이 몇 번 어긋났고, 소위 ‘잘 나가는’ 고등학교 동기들과 처음부터 컴공을 목표로 곧게 걸어온 사람들 사이에서 오랫동안 ‘순혈이 아니다’라는 열등감을 안고 다녔다. 전과를 하고 나니 남들이 이미 몇 년치 쌓아둔 재능과 경험의 벽이 눈에 보였고, 그 앞에서 한동안 방황했다.
그 시기를 거치는 동안 스스로를 잘 다스리지 못했던 순간들도 있었다. 자세한 이야기는 신변을 위해 생략하지만, 여러 큰 대가를 치르고 나서야 조금 차분해질 수 있었다. 잠시 학업 부담을 내려놓고 휴학한 뒤 사회복무요원으로 병역 문제를 해소하면서 멘탈을 추스렸고, 작년 12월부터 다시 ML/DL 대회를 건드리기 시작했다. 다행히도 행운의 여신의 도움을 받아 데이콘에서 두 번 정도 수상하면서 나름의 감각과 경험이 쌓인 상태였다. 이 해커톤은 그 흐름의 연장선 위에서 나간 대회였다.
그러니까 나는 완전한 초보는 아니었다고 생각했다. 그래서 더 뼈아팠다.
1. 참가 동기
솔직히 거창한 동기는 없었다. 세 가지 정도가 섞여 있었다.
첫째, 포맷을 바꿔보고 싶었다. 한두 달씩 길게 굴러가는 DL 대회만 반복하다 보니, 짧게 벼락치기로 끝나는 해커톤 형식도 한 번쯤 겪어보고 싶었다. 마감이 코앞이라는 압박감이 어떤 결과물을 만들어내는지 궁금했다.
둘째, 해커톤이라는 판 자체를 경험해본 적이 없었다. 정량화된 지표 하나만 보고 달리는 대회와, 사람이 결과물을 정성적으로 심사하는 대회는 근본적으로 다른 field일 텐데, 그 차이를 몸으로 겪어보고 싶었다. 특히 ‘내가 최적화하는 정량화된 metric’과 ‘실제로 주최측이 평가하는 metric’이 어긋날 때 생기는 distribution shift 같은 걸 직접 마주하고 싶었다.
셋째, 밥이랑 간식을 준다길래 갔다. 매일 식사를 챙기기 귀찮았는데 해커톤에 가면 밥을 준다고 해서, 그거 하나만으로도 충분히 참가할 이유가 됐다. 실제로 대회장에 가보니 밥이랑 간식이 잘 나왔다. 이건 진짜로 좋았다.
돌이켜보면 두 번째 호기심은 아주 확실하게, 그리고 아주 잔인하게 충족됐다. 내가 최적화하던 것과 평가받는 것이 다르다는 걸, 결과지를 받고 나서 온몸으로 배웠으니까.
2. 준비 과정
준비는 사실상 못 했다.
대회 준비 기간이 1주일 정도로 짧았는데, 하필 그 기간에 병행하던 무인판매대 경진대회의 TensorRT 추론부 쪽에 문제가 발생했다. 그 디버깅에 손이 묶여 일주일 내내 ONNX export와 TensorRT kernel을 들여다보면서 해커톤 쪽은 거의 유기했다. (정확히 어떤 문제가 있었는지는 무인판매대 경진대회 후기를 참고하길 바란다.) 문제 domain이 뭔지, 심사가 뭘 보는지, 초면에 가까운 조원들이 어떤 장단점이 있는지 — 아무것도 찾아보지 않은 채로 대회 당일을 맞았다.
결국 노베이스로 들어갔다. 지금 와서 보면 이 ‘노베이스로 들어감’이 결과의 절반쯤을 이미 정해놓은 셈이었다. DL 대회였다면 당연히 대회 공지가 disclose된 순간부터 며칠씩 domain을 파고들었을 텐데, 해커톤이라고 그 준비를 건너뛴 건 명백한 오만이었다. 짧은 대회일수록 사전 준비의 밀도가 결과를 가른다는 걸, 그때는 간과했다.
3. 대회 중 경과
처음 1~2시간은 방향을 못 잡고 팀원들과 고민만 했다. 백지에서 시작하니 뭘 만들어야 할지부터가 막막했다. 그러다 시장의 감정을 하나의 숫자로 정량화한 공포탐욕지수(Fear & Greed Index) 라는 지표가 있다는 걸 알게 됐고, 이걸 정량적으로 분석하고 예측해보자는 쪽으로 팀의 방향이 잡혔다.
역할을 나눴다. 나는 공포탐욕지수의 proxy metric인 FOMO index와, 그 위에 올릴 시계열 예측 모델을 맡았다. ML/DL을 다루는 건 내가 제일 자신 있는 영역이었으니 자연스러운 배분이었다.
그런데 여기서부터 예상대로, 아니 예상보다 더 안 풀렸다. FOMO index 자체가 공신력 있는 기업이 만든 primary metric이 아닌 직접 만든 derived metric이라 noise가 매우 심했고, 그 위에 얹은 시계열 예측 모델이 noise overfit으로 인해 제대로 된 신호를 잡지 못했다. 몇 번을 다시 짜도 결과가 나아지지 않았다. 시간은 계속 녹고 조원들은 내 결과만 기다리고 있었다.
결국 예측 모델을 정면으로 붙드는 걸 포기했다. 대신 FOMO index를 기반으로 한 feature engineering에 집중하고, 여러 모델을 묶는 ensemble로 방향을 튼 뒤 소극적으로 과거 패턴을 embedding 후 cosine similarity로 매칭하는 것으로 선회했다. 원래 하려던 것에서 한참 물러선, 타협에 가까운 선택이었다.
그렇게 5시간쯤을 갈아 넣으니 그래도 뭔가 납득 가능한 LSTM 모델과 패턴 기반 매칭, 그리고 눈에 보이는 결과물이 나왔다. visualize할 수 있는 형태가 됐고, 팀원들에게 공유하고 보고했다. 최종 wrapup을 하면서 제출 마감 10여 분을 남기고 겨우 제출 버튼을 눌렀다. 마감에 쫓기며 무사히 제출까지는 했다. 딱 거기까지였다.
4. 결과
제출하고 나서 눈에 보이는 다른 팀 제출물 몇 개를 훑어봤다. 첫 감상은 정확히 한 단어였다. 망했다.
발표 자격을 받는 진출팀은 25팀 중 12팀이었다. 절반은 올라가는 셈이니 아주 좁은 문은 아니었다. 그런데 체감상 우리 팀은 Q1.5쯤이었다. 냉정하게 보면 애매하게 아래쪽. 그래도 사람 마음이라는 게, 기적이 한 번 터지기를 기대하지 않을 수가 없었다. 내 체감이 틀리기를 간절히 빌었다.
그리고 우리 팀은, 당연히 이변 없이 정배대로 떨어졌다.
진출한 팀들의 발표를 몇 개 들어봤다. 예상대로 우리보다 훨씬 잘한 팀이 많았다. 어떤 팀은 우리와 동일한 접근법으로 문제를 제기한 뒤 하려던 걸 더 깔끔하게, 사실상 상위호환으로 구현해 내놨다. 같은 아이디어에서 출발한 것 같은데 완성도가 달랐다. 사실상 이 팀의 존재로 인해, 우리 팀은 하위호환이라는 평가를 받으며 떨어진 셈이었다. 또 어떤 팀은 newbie-친화적인 접근으로, 우리보다 훨씬 더 직관적이고 설득력 있는 시각화와 스토리텔링을 보여줬다. 그들의 발표를 보고 나니, 우리가 왜 떨어졌는지 명확히 알 수 있었다.
차이는 분명했다. 해커톤에서 심사가 보는 건 시각화의 완성도, 어필 포인트, 문제 정의의 선명함 같은 정성적인 요소였다. 그런데 우리가 마감 직전에 제출한 건 그런 서사가 붙지 않은, ‘코드 덩어리’에 가까운 결과물이었다. 우리는 모델을 돌렸고, 그들은 이야기를 만들었다. 지는 게 당연했다.
팀원들에게는 겉으로 “본선 갈 수도 있었는데 아쉽다”고 말했다. 하지만 속으로 든 생각은 그것과 조금 달랐다. “역시 이렇게 됐군.” 아쉬움보다는 납득에 가까운 감정이었다. 억울할 자격이 있으려면 잘했어야 하는데, 우리는 잘하지 못했다.
5. 오답노트
이제 냉정하게 복기해본다. 내가 놓친 것들.
핵심 원인
- 평가 기준을 오독했다. 해커톤에서 중요한 건 정성적인 요소인데, 나는 끝까지 내가 익숙한 시계열 모델의 정량 지표의 세계에 머물러 있었다. 내가 최적화한 축과 심사가 평가하는 축이 애초에 크게 어긋나 있었다.
- 사전 준비가 부족했다. DL 대회였다면 당연히 며칠씩 했을 domain knowledge 학습을, 해커톤이라는 이유로 건너뛰었다. 그게 오만이었다.
- 난이도를 얕봤다. ML/DL로 실제 문제를 푸는 난이도, 특히 대회와 달리 정제되지 않은 시계열 예측 모델을 현실 데이터에 적용하는 난이도를 심하게 과소평가했다. 대회장에서 벽을 만나고 나서야 그걸 실감했다.
- 아이디어를 설계하는 역량이 부족했다. 매일 소수점 단위로 수치화된 metric만 붙들던 DL 대회와 달리, 해커톤은 없던 문제를 정의하고 창의적인 접근을 짜내는 역량을 요구했다. 나는 그게 모자랐다. 숫자를 다루는 근육은 있었지만, 이야기를 짓는 근육은 없었다. 팀원들의 도움을 받아 겨우 이야기를 만들었지만, 그건 이미 한 사람분의 기여가 생략된 뒤였다. 그게 결과물의 차이로 그대로 이어졌다.
부수적 원인
- 의사소통이 서툴렀다. 초면에 가까운 팀원들, 서툰 대인관계와 화술, 그리고 오랫동안 매우 좁은 반경 안에서만 지내온 생활 패턴. 이 조합이 communication overhead에 큰 영향을 미쳤고, 협업에 좋았을 리가 없다. 좋은 아이디어가 있어도 제때 꺼내 설득하지 못하면 없는 것과 같다는 걸 배웠다.
- 시간 분배에 실패했다. 첫 대회라 페이스 조절을 못 했다. 초반에 방향을 못 잡고 헤맸고, 중간에는 졸면서 1시간 정도를 그냥 날렸다. 짧은 대회에서 1시간은 결코 작지 않은 손실이었다.
6. 앞으로
그래서 앞으로는 이렇게 하기로 했다.
당분간은 해커톤보다 내가 승산을 볼 수 있는 판에 집중하려고 한다. 무인판매대 경진대회, SNU AI Challenge, fastMRI 같은, 정량 지표로 실력이 겨뤄지는 대회들. 내가 가진 근육이 그대로 힘을 발휘하는 곳에서 먼저 결과를 내고, 부족한 근육은 그다음에 따로 키우는 게 순서라고 판단했다.
그렇다고 이번 대회가 손해만 본 건 아니었다. 오히려 이 판에서 우수한 지인들과 인맥에 닿은 게 제일 큰 소득이었다. 결과물로는 졌지만, 이들 중 누군가는 다음 ML/DL 대회의 팀원이 될 수도 있지 않을까 싶다. 그렇게 생각하면 나쁘지 않은 거래였다.
지고도 남는 게 있으면 완전히 진 건 아니라고, 그렇게 정리하기로 했다.