무인판매대 상품인식 경진대회 후기 — Road to 3rd 이야기
이번에는 무인판매대 상품인식 경진대회에 참가한 후기다. 나는 이 팀에서 EdgeCrafter-L 기반 학습과 후처리, 그리고 TensorRT 추론부를 맡았던 서주원이다. 이 글은 어떻게 수상까지 이르게 됐는지, 그리고 그 과정에서 무엇을 배웠는지에 대한 회고다. 단순히 수상한 사람의 회고가 아니라, 수상 과정에서 겪은 시행착오와 오답노트까지 담은 글이라는 걸 먼저 밝혀둔다. 이 글을 읽는 사람에게 조금이라도 도움이 되길 바란다.
Disclaimer
본 게시글은 평소 내 말투로 무인판매대 상품인식 경진대회 작업에 사용한 Claude code project를 참고하여 게시글을 작성하라고 프롬프트 형식으로 지시한 뒤, Claude가 작성한 글을 그대로 게시한 것이다. 따라서 글의 내용과 문체는 Claude의 스타일을 반영하고 있으며, 실제 내 생각과 다를 수 있다. 이 점을 유념하고 읽어주길 바란다.
0. 글을 쓰며
팀 Placeholder, 2인 팀. 55팀 중 3등으로 우수상을 받았다. 원래대로면 장려상이었을 텐데, 올해부터 우수상이 두 팀으로 늘었다. 운이 좋았다는 뜻이다.
1. 참가 동기
동기는 두 가지였고, 둘 다 근거가 있었다.
- 24-겨울학기 인공지능시스템 설계 프로젝트 수업에서 거의 같은 주제(무인판매대 상품인식)를 실습해 본 적이 있다. 남들보다 관련 경험을 해 봤으니 수상 확률이 높다고 계산했다.
- 대회 측에서 서버 GPU(A6000)를 대여해 줬다. GPU 비용이 0원이었다. 단언컨데 딥러닝 대회에서 이보다 강한 참가 동기는 없다.
2. 준비 과정
대회 전날 YOLO 계열 논문과 RT-DETR 논문을 한 번씩 읽었다. 준비 과정은 이 정도면 충분하다고 판단했다.
3. 대회 중 경과
3.1 초반 — 방황, 그리고 축 분리
처음에는 방황했다. 방황 끝에 내린 결정은 하나였다. 검출 backbone과 후처리를 별개의 축으로 분리한다. 검출기는 프레임별로 “뭐가 몇 개 있는지”만 답하게 하고, 시간적·공간적 안정화는 전부 후처리가 책임진다. 이 결정 덕분에 이후 두 축을 독립적으로 갈아끼우며 실험할 수 있었고, 돌이켜보면 대회 전체에서 가장 잘한 판단이었다. 방황하다가 나온 결정치고는 성과가 과분하다.
3.2 모델 선정 — 조원이 가져온 SOTA
조원이 대회 초반에 EdgeCrafter를 가져왔다. 올해 3월에 공개된 Object Detection SOTA 모델(RT-DETR/D-FINE 계열, NMS-free)이다. COCO mAP가 좋길래 썼다. 핵심 모델 선정 과정은 이게 전부다. 나중에 S/M/L/X 사이즈를 전부 돌려 보고 L로 확정하긴 했지만(S/M은 오히려 YOLOv7 baseline보다 낮았다), 시작은 “조원이 가져왔고 숫자가 좋았다”이다. 이걸로 빠르게 baseline을 잡아 큰 시간을 확보할 수 있었다.
성능이 꽤 준수하게 나오길래 multi-view 후처리를 붙였다. 단일 시점에서는 안 보이는 3D 판매대를 5대 카메라의 합의(k-of-n fusion)와 hysteresis, temporal median으로 보정하는 로직이다. 이걸로 자체 GT 기준 FP 2, FN 2까지 갔다.
여기서 중요한 사실 하나. 자체 평가용 GT 라벨링을 하다가 이벤트 하나를 빼먹었다. 어안렌즈 카메라의 왜곡된 구석에 작은 물체가 숨어 있었고, 그 물체의 tracking을 통째로 놓쳤다. 이 사실을 보고서 작성 시점까지도 인지하지 못했다. 즉 대회 내내 돌린 모든 실험과 최종보고서에 실린 모든 수치가 이 오염된 GT 기준이고, 실제로는 FN에 전부 1을 더해야 한다. 위의 FP 2 / FN 2도 실제로는 FP 2 / FN 3다. 그런 줄도 모르고 지표를 신봉했다.
3.3 중간보고서 — 희망 회로의 근거
대회 2주차 중간보고서에서 최우수 보고서 경품을 받았다. 경품은 7팀에게 주어졌고, 최종 수상은 상위 9팀까지 장려상이 나온다. 7 < 9. 이때부터 수상 희망을 가졌다. 산수에 기반한 희망이었다.
3.4 후반 — sweep의 시간
대회 후반에는 hyperparameter sweep, 합성 증강 비율 조정(10~60% ablation, 30% 채택), 추가 데이터셋을 이용한 domain adaptation 시도를 했다. 여러 조합을 테스트한 끝에 overfit에 강건해 보이는 — 즉 optimal point가 multimodal하게 넓게 퍼져서 나오는 — config를 고정했다. F1은 baseline YOLOv7 97.58%에서 EdgeCrafter-L 98.55%, 최종 99.04%(TP 103 / FP 1 / FN 1)까지 올라갔다. 물론 위에서 말했듯 이건 이벤트 하나가 빠진 GT 기준이고, 실제로는 FN 2, 약 98.56%다. 보고서에는 99.04라고 적어 냈다. 몰랐으니까.
3.5 최후반 — TensorRT 지옥 3주
대회 마지막 3주는 TensorRT 디버깅에 갈아 넣었다. 컨테이너 형태로 GPU를 할당받은 탓에 host GPU 환경을 건드릴 수 없었고, 이것이 지옥의 문이었다. 겪은 일을 건조하게 나열하면:
- A100 MIG 슬라이스 + TensorRT 8.6에서 batch>1 engine build가 segfault로 죽었다.
- 원인을 파 보니 ONNX export 시 anchors 상수가
[1,8400,4]로 하드코딩되어 batch>1에서 shape 위반이 났다. 패치했다. - FP16으로 바꾸니 box 좌표가 뭉개졌다. opset 16의 decomposed LayerNorm이 fp16에서 overflow하는 것이었다. opset 17로 재export해서 해결했다.
- MIG에서는 높은 opt-level이 Myelin에서 segfault를 냈다. opt-level 0으로 내리면 돌긴 도는데 2.3배 느려서 의미가 없었다.
- 같은 ONNX 파일(md5 동일)로 fp16 engine을 3번 빌드하면 3번 다 다른 tactic을 뽑아서 F1이 99.04 / 97.12 / 98.55로 복불복이 났다. 빌드 로또였다. 결국 4개 engine 전부에서 동일 F1이 나오는 build-robust한 후처리 config plateau를 따로 sweep해서 찾았다.
- 로그인 노드에는 CPU를 많이 쓰는 Python 프로세스를 traceback도 없이 SIGKILL하는 watchdog이 있었다. 이걸 몰라서 한동안 프로세스가 왜 증발하는지 유령을 쫓았다.
참고로 지난 글에서 해커톤 준비를 유기하게 만든 원흉이 바로 이 지옥이다. 이 과정에서 Claude(Fable 5)와 함께 어마어마한 수의 토큰을 태우며 버전/GPU/환경 조합을 갈아 끼웠고, 대회 마감 5일 전에 A6000 + TensorRT 10.6 조합으로 가속에 성공했다. 최종적으로 F1 99.04를 유지한 채 300fps 근처(입력 커버리지 기준)가 나왔다. 5일 전이었다.
3.6 보고서 — 사실상 가장 큰 tactic
마지막에는 다른 팀들도 비슷한 성능 개선을 이뤘을 거라고 판단하고, 정량이 아니라 정성평가에 승부를 걸었다. 26장짜리 소논문 형식 보고서를 썼다. ablation을 잔뜩 실어서 “왜 이 구성이 이 문제에서 SOTA인가”를 한 항목씩 방어했다. 후술하겠지만 이게 수상의 가장 큰 지분이었다고 생각한다.
4. 결과
55팀 중 최종 발표에 온 팀은 26팀. 발표장에서 다른 팀들을 보니 판매대를 3D reconstruction한 팀, RT-DETR 안의 ViT를 커스텀 distillation한 팀, 이미지 차분으로 객체 입출고를 감지한 팀 등이 인상적이었다. 우리 팀은 26팀 중 상위 25% 경계쯤, 6등 정도를 예상했다. 장려상은 받겠구나 싶어서 그걸로 뿌듯해하고 있었다.
최종 결과는 3등, 우수상이었다. 작년까지는 2등까지만 우수상이고 3등부터 장려상이었는데, 올해부터 우수상이 두 팀으로 늘었다. 3등에게 우수상을 주는 첫 해에 3등을 했다. 추측컨대 (1) 남들이 안 쓴, 올해 3월 공개된 SOTA 모델을 썼다는 신선함과 (2) 보고서를 과도할 정도로 상세히 쓴 것이 결정적이었던 것 같다.
대회가 끝난 이후, 주최측에게 문의한 최종 결과는 다음과 같다.
재고 인식: 36 / 40점
처리 속도(RTF): 20 / 20점 (RTF ≤ 1)
5. 오답노트
- 초반에 Claude Code를 안 쓰고 웹 Claude만 썼다. 실험 로그를 복사해서 브라우저에 붙여넣는 생활을 몇 주 했다. 그냥 처음부터 Claude Code를 ssh에 물려서 실험을 모니터링시켰으면 됐다. 후반에 그렇게 하고 나서야 전반부의 내 노동의 가치가 무엇이었는지 뼈저리게 알게 됐다.
- GT 라벨링을 하나 빼먹었다. 어안렌즈 왜곡부에 숨은 작은 물체 하나. 대회 내내 모든 실험이 이 오염된 GT 위에서 돌았고, 최종보고서의 수치도 전부 그 기준으로 적어 냈다. 누락을 안 것은 다 끝난 뒤였다. 수상했으니 해프닝이지, 수상 못 했으면 두고두고 자책했을 실수다.
- 주최측에게 물어보지 않았다. 주최측이 최종 제출 양식과 평가 기준을 명시적으로 공개하지 않았는데, 우리는 그냥 우리 해석대로 진행했다. 대회 마지막 날에야 문의 답변을 받고 제출물 양식을 급하게 뜯어고쳤다. “모르면 진작 물어본다”는 기본적인 판단을 안 해서 스스로를 촉박하게 만들었다.
6. 수상에 도움이 된 것
- 많은 ablation study로 검증했다. 보고서에서 “왜 이 구성이 SOTA인가”를 방어해 내는 논리를 주장하는 것이 중요하다고 판단했다. 그래서 ablation을 잔뜩 실었다. ablation이 많으면 많을수록 “왜 이 구성이 SOTA인가”를 방어하는 논리가 탄탄해진다. 보고서에 실린 ablation sector만 10개가 넘는다.
- 딥러닝 대회는 시간 싸움이라고 판단했다. 총 시간을 효율적으로 분배하는 것이 중요하기 때문에, 초반에 빠르게 SOTA baseline을 선택해서 2주 만에 준수한 성능을 뽑고, 남은 시간을 전부 개선에 쓴 것이 성공의 열쇠였다.
- 보고서를 상세히 썼다. 정성 요소의 배점은 생각보다 크게 작동한다.
- No risk, full push. 우리 위치가 불리하다고 판단됐을 때, 도박적인 방법(TensorRT 시도)이라도 과감하게 시도한 결단이 필요했다. 결과적으로 보면, 마감 5일 전에 성공하는 도박은 도박이 아닌 전술이다.
- 지인으로 구성된 팀이 좋았다. 서로의 장단점을 잘 알고 있었고, 서로의 작업 스타일을 잘 이해하고 있었다. 새벽 4시에 알림을 보내도 바로 답변해 주는 팀원이 좋았다. 중간중간에 비속어와 은어를 섞어도 편하게 의사소통이 되어서 communication overhead가 적었다. 팀원과의 호흡이 좋으면, 대회에서의 stress를 상당히 줄일 수 있다.
7. 앞으로
prior 지식과 좋은 팀원, 무료 GPU까지 쾌적한 환경 속에서 다른 대회보다 상당히 편하게 수상할 수 있어서 좋았다. 같은 팀원과 올해 FastMRI 대회도 같이 나간다. 좋은 결과가 있었으면 좋겠다.
이번 대회로 나름의 대회 철학도 세웠다. 딥러닝 대회는 시간 싸움이다. 초반에 준수한 성능의 모델을 골라 남들보다 열흘을 벌고, 그 열흘 동안 hyperparameter와 증강 같은 결정적 한 방 tactic을 찾아 딱 한 발만 앞서면 된다. 수상을 위해서는 꼭 두 발 앞설 필요는 없다. 한 발이면 된다.
팀 Placeholder, 화이팅.