14일 튜닝이 0.05, 이틀 리서치가 0.08

종료된 대회의 부검이다. 세 번 떨어진 기록을 순서대로 쓰는 연작의 3편.

SNU AI Challenge 2026은 17일 캠페인이었다. 멀티모달 순서추론 과제였고 캐글에서 돌아갔다. 최종 Public 점수 0.90052, 130팀 중 41위, 제출 12회, 지출 약 176달러. 상위 30팀 게이트에 못 들어서 보고서 제출 자격이 없었다.

앞의 두 편과 다른 점이 있다. 이 대회는 잘했다. 시작 점수가 0.138이었고 끝이 0.90052다. 그런데 그 상승분이 어디서 나왔는지를 보면 등이 서늘하다.

2주가 0.05를 줬고 이틀이 0.08을 줬다. 그 이틀에 한 일은 새로운 학습 기법을 발명한 게 아니다. 그냥 검색을 했다.

열나흘 동안 옳은 질문을 안 했다

내가 만지고 있던 변수는 학습률, 데이터 증강, 이미지 해상도, LoRA 랭크 같은 것들이었다. 열세 개 버전을 돌렸고 검증점수는 0.51에서 0.56으로 천천히 올라가다 점근선에 붙었다.

이 구간에서 내가 안 물어본 게 하나 있다. "베이스 모델이 문제인가?"

7월 23일에 그걸 물었다. 그리고 이 과제 유형에서 강한 오픈 체크포인트를 찾아보니, 강화학습이 이미 들어간 상태로 배포된 모델이 있었다. 그걸 이식하는 데 이틀 걸렸고 캠페인 최고 기록이 나왔다.

같은 캠페인에서 나는 자체 강화학습을 다섯 번 시도했다. DPO 세 번, GRPO 두 번. 전부 아무 효과가 없었다. 내 컴퓨트와 남은 시간으로는 강화학습 훈련이 불가능했다.

그러니까 이렇게 정리된다. 역량을 만들려고 다섯 번 실패했고, 그 역량이 이미 구워져 있는 아티팩트를 찾는 데는 이틀 걸렸다.

컴퓨트와 시간에 제약이 있는 대회에서 이건 규칙이 되어야 한다. 강화학습, 추론 특화, 도메인 사전학습처럼 비싼 능력은 재생산하지 말고 수입한다. 그리고 이 리서치는 첫날 리서치의 첫 질문이어야 한다. 나는 16일째에 했다. 그게 이 캠페인의 최대 실수다.

정체기에는 변수가 아니라 카테고리를 바꾼다

이 실패에서 뽑은 도구를 표로 만들어 다음 대회에 가져갔다.

규칙: 정체가 1주를 넘으면 주 1회 위층 리뷰를 의무로 돈다. 질문 넷을 강제로 답한다. 지금 만지는 변수가 최선인가, 이 변수의 상위 카테고리는 무엇인가, 최신 기술은 뭘 쓰나, 이건 기술 문제인가 자원 문제인가, 내가 한 번도 안 건드린 상수(베이스 모델·목적함수·데이터·평가법) 중에 정답이 있나.

정체기에 사람은 "더 열심히"로 반응한다. 그런데 점근선에 붙은 곡선을 더 밀어도 점근선은 안 움직인다. 곡선을 바꿔야 한다.

세 번 속을 뻔한 오판: 언더트레인 위양성

이 캠페인에서 "이 축은 안 된다"는 판정이 세 번 나올 뻔했고, 세 번 다 틀린 판정이었다.

1. 비디오 입력 모드: 검증점수 0.057. 확인해보니 메모리 초과로 실제 학습 샘플이 17개였다. 해상도를 낮춰 공정하게 돌리니 0.347.
2. 비전 어텐션 변경: 검증점수 0.29. 확인해보니 3.4배 느려서 384샘플, 전체 데이터의 0.04에포크만 학습했다. 제대로 돌리니 0.3567로 대조군과 동점이었다. 이건 진짜 무효과였다.
3. 19시간 캡을 건 버전: 0.74에포크에서 끊겼다. 학습이 포화한 것과 처음부터 열세인 것을 혼동할 뻔했다.

여기서 나온 규칙 하나. 판정 전에 점수를 보지 말고 학습량을 본다. 실제로 본 샘플 수, 메모리 초과 카운터, 샘플당 실측 시간을 먼저 확인한다. A/B는 학습량과 시드와 데이터 순서까지 맞춘 짝으로만 한다.

그리고 문장을 구분해서 기록한다. "이 축은 안 된다"와 "내 돈과 시간으로는 이 축을 제대로 볼 수 없다"는 다른 말이다. 후자는 자원이 생기면 다시 봐야 하는 항목이고, 전자로 적어버리면 영구히 닫힌다.

돈은 실험이 아니라 사고로 샜다

176달러를 썼다. 지출을 뜯어보니 실험비보다 인프라 사고비가 더 컸던 구간이 있었다.

• 감시 스크립트가 죽어서 인스턴스가 빈 채로 돌아간 시간
• 죽은 모델 호스트를 붙잡고 재시도한 시간
• 부팅 스크립트를 임시 디렉터리에 둬서 세 번 연속 실행되지 않은 것
• 최신 GPU 아키텍처를 골랐다가 커널 이미지가 없어서 크래시난 것 (두 번)
• VRAM 표기를 믿고 40GB를 골랐는데 실제로 아니었던 것 (두 번)

전부 실험이 아니라 운영이다. 그래서 유료 GPU를 쓰는 모든 대회에 체크리스트를 붙였다.

• GPU 아키텍처가 내 torch 빌드와 호환인지 확인. 최신 세대는 커널이 없을 수 있다.
• 인스턴스 생성 직후 실측 VRAM 확인. 서버 필터와 표기를 믿지 않는다.
• 부팅 스크립트는 보존되는 경로에 두고, 부팅 후 실행됐는지 검증한다.
• 점화 10분 안에 사용률과 로그 진행을 확인한다. 블라인드로 돌리지 않는다.
• 감시자는 OS 수준에 두고, 감시자 자신도 감시한다.
• 완료 신호는 산출물 업로드로 받는다. 업로드를 확인한 뒤에 인스턴스를 파괴한다.
• 신뢰성 세금 15%를 예산에 미리 잡는다. 싼 호스트는 다운타임으로 더 비싸다.

같은 실수를 두 번 밟은 게 두 건이다. 한 번 배운 사고도 코드로 필터를 만들지 않으면 반복된다.

최고 성능 모델의 가중치를 날렸다

캠페인 최고 기록을 낸 모델의 어댑터를 잃었다. 업로드 검증 없이 인스턴스를 파괴했다.

이게 왜 아픈지는 마감 주에 알게 된다. 마지막 날에 쓰는 표준 수 중 하나가 체크포인트 평균이다. 상위 두세 개 모델의 가중치를 평균 내면 1달러 정도에 0.5%에서 2%포인트가 나온다. 그 수를 쓰려면 체크포인트가 남아 있어야 한다.

모든 체크포인트를 영구 보존한다. 파괴는 업로드를 확인한 다음이다. 규칙이 아니라 습관이어야 한다.

제출 열두 발만 쏜 것에 대해

상위권 팀들이 20~40발을 쏘는 동안 나는 12발을 쐈다. 규칙을 걸어뒀다. 검증점수가 현 최고치에 0.005 마진을 더한 값을 넘을 때만 제출한다.

이게 약점처럼 보이지만 마지막 방어막이기도 하다. 리더보드에 과최적화하면 비공개 재채점에서 떨어진다. 제출권을 점수 올리는 도구로 쓰면 그 함정에 빠진다.

제출권은 점수 도구가 아니라 측정 예산이다. 하루 N발은 "하루에 N개의 가설을 서버가 채점해준다"는 뜻이다. 결과가 안 바뀔 측정에 쓰지 않는다. 다만 소멸하는 할당량은 손실이니, 마감 주에는 검증으로 판정 못한 후보를 서버에 물어보는 데 회수한다.

실제로 이 회수가 두 번 효과를 봤다. 검증 게이트에서 떨어진 버전이 서버에서 신기록을 낸 사례가 있다. 검증셋 300개를 두 번 돌린 편차가 0.02였는데, 그 노이즈 안에 있는 차이는 서버만 심판할 수 있다.

검증점수는 나침반이지 법정이 아니다.

마지막 20시간에 최고 기록이 나왔다

계획에서 "현상 유지로 마감" 가지를 지웠다. 그게 이 캠페인에서 가장 잘한 판단이다.

비용 0인 공격은 마감까지 안 멈춘다. 로컬 분석, 무료 컴퓨트, 리서치, 다음 가설 설계는 돈이 안 드니까 계속 돌린다. 유료 발사는 실측 신호가 섰을 때 한 발씩. 신호가 없으면 침묵하고, 있으면 주저하지 않는다.

이 두 규칙은 겉으로 충돌한다. 하나는 아끼라고 하고 하나는 멈추지 말라고 한다. 실제로는 층이 다르다. 불항복은 태세의 문제이고 절약은 지출의 문제다. 태세를 유지하면서 지출을 아낄 수 있다.

결과적으로 마지막 20시간의 무료 레인에서 체크포인트 평균과 베이스 모델 교체가 나왔다. 캠페인 최고 기록 둘이 다 거기서 나왔다.

남은 질문

세 번의 대회 중 이 대회가 가장 잘한 대회다. 그런데 41등이다. 그리고 41등의 원인은 대부분 첫날에 안 한 리서치다.

지금 다시 하면 첫날을 이렇게 쓸 것 같다. 학습은 하나도 안 돌리고, 이 과제 유형에서 가장 강한 공개 체크포인트를 찾는 데 하루를 다 쓴다. 그게 낭비처럼 느껴질 것이다. 첫날에 점수가 안 올라가니까.

착수 첫날의 초조함은 대개 남은 16일에 대한 이자로 갚게 된다. 다음 대회에서 스스로에게 물어야 할 건 이거다. 지금 학습을 돌리고 싶은 이유가 그게 최선의 수이기 때문인가, 아니면 뭔가 돌아가는 걸 보고 싶기 때문인가?