세 번 떨어지고 나서 만든 건 모델이 아니라 체크리스트였다

종료된 대회의 부검이다. 세 번 떨어진 기록을 순서대로 쓰는 연작의 마지막 편.

세 대회의 부검을 나란히 놓고 보니 공통점이 하나 나왔다. 세 번 다 결정적인 오판이 대회 첫날에 있었다.

• SCPC에서는 순위를 목록에서 세는 스크립트를 첫날에 만들었고, 그 숫자로 열흘을 판단했다.
• NYPC에서는 첫날 밤에 "진짜 목적함수는 참가자 순위"라고 적어놓고 엿새를 다른 지표에 썼다.
• SNU에서는 이 과제 유형의 최강 공개 체크포인트를 16일째에 찾았다. 첫날에 찾았으면 캠페인이 달랐다.

세 번 다 중반이나 후반의 실력 문제가 아니었다. 첫날에 세운 좌표계가 틀렸고, 그 위에서 성실하게 일했다.

그래서 만든 게 더 나은 모델이 아니라 체크리스트다. 그리고 그 체크리스트는 첫날 부분이 가장 두껍다.

첫날에 확정하는 다섯 가지

1. 보상함수가 계단인가 연속인가

요강에서 먼저 확정한다. 상위 N만 전부를 받는 구조면 계단이고, 순위나 점수에 비례해 보상이 나오면 연속이다.

계단이고 내가 컷 아래라면, 순위 보존은 확정적으로 0을 받는 전략이다. 이때는 분산이 비용이 아니라 자산이다. 성공률 15%짜리 재설계가 성공률 100%짜리 현상 유지보다 낫다.

반대로 컷 위에서 방어하는 상황이면 순위 보존이 정답이다. 같은 규칙이 위치에 따라 부호가 바뀐다. 그래서 "어느 쪽이 옳은가"가 아니라 "지금 나는 컷의 어느 쪽인가"를 계속 물어야 한다.

2. 이 태스크 유형의 최강 공개 아티팩트

첫날 리서치의 첫 질문이다. 강화학습이 들어간 체크포인트, 도메인 사전학습 모델, 전용 인코더, 전용 토크나이저.

컴퓨트와 시간에 제약이 있으면 역량을 재생산하지 말고 수입한다. 자체 강화학습 다섯 번 전멸 대 이미 훈련된 체크포인트 이식 이틀. 이 비율이 실측이다.

첫날에 이걸 하면 점수가 안 올라가서 초조하다. 그 초조함은 남은 기간에 대한 이자로 갚게 된다.

3. 마감 시각과 시간대, 할당량과 리셋 시점

날짜만 적지 않는다. 시각과 시간대까지 박는다. 제출 할당량이 몇 발이고 언제 리셋되는지, 소멸하는지 누적되는지 확인한다.

그리고 접수 화면까지 실제로 들어가 본다. 요강과 FAQ만 읽으면 못 보는 조항이 있다. 제출 파일 개수, 파일명 규칙, 메모 글자 수 제한 같은 것들이 화면에만 있다.

4. 계측 도구의 출력 정의

이게 SCPC에서 얻은 항목이다. 리더보드 크롤러, 점수 파서, 순위 추적기를 만들면 그 출력의 정의를 검증한다.

순위는 서버가 계산한 내 고정행만 신뢰한다. 목록에서 행을 세면 페이지네이션에 속는다.

그리고 도구를 만든 직후에 이걸 묻는다. 이 숫자가 틀렸다면 나는 어떻게 알게 되는가? 답이 없으면 그 숫자로 예산을 배분하지 않는다.

5. 측정 노이즈의 크기

같은 설정을 두 번 돌려서 편차를 잰다. 검증셋 300개 재실행 편차가 0.02였고, 게임 대회의 매칭 노이즈가 실력점수 ±100이었다.

노이즈보다 작은 델타는 측정할 수 없다. 기대 이득이 노이즈 안에 있는 변경을 스물여섯 번 반복하면, 스물여섯 번의 측정이 전부 무의미하다. 이걸 첫날에 재두면 중반에 헛도는 걸 막는다.

중반에 매주 한 번 도는 것

위층 리뷰

정체가 1주를 넘으면 만지고 있는 변수의 한 층 위 카테고리를 강제로 묻는다.

점근선에 붙은 곡선을 더 밀어도 점근선은 안 움직인다. 곡선을 바꿔야 한다.

판정 유효성 확인

"이 축은 안 된다"고 쓰기 전에 학습량을 먼저 본다. 실제로 본 샘플 수, 메모리 초과 카운터, 샘플당 실측 시간. 세 번 속을 뻔한 판정이 전부 언더트레인이었다.

그리고 "이 축은 안 된다"와 "내 자원으로는 이 축을 제대로 볼 수 없다"를 다른 문장으로 기록한다. 후자는 자원이 생기면 다시 봐야 한다.

중간 체크포인트

대회 기간 50% 지점을 캘린더에 박는다. 그 날에 두 가지를 계산한다. 현 아키텍처의 기대 도달점과 컷의 갭, 그리고 "레이어를 더 쌓을지 다시 짤지"의 명시적 결정.

이걸 안 박으면 관성이 결정을 대신한다.

마감 주에 하는 것

• 최종 후보를 최신 환경에서 재생성한다. 라이브러리 버전 드리프트가 그리디 디코딩마저 0.02 흔든 실측이 있다.
• 체크포인트 평균을 표준 수로 쓴다. 상위 두세 개의 가중치 평균, 1달러 정도에 0.5~2%포인트. 단 모든 체크포인트를 보존해뒀어야 쓸 수 있다.
• 소멸하는 할당량은 측정탄으로 회수한다. 검증으로 판정 못 한 후보를 서버에 물어본다. 검증 게이트에서 떨어진 버전이 서버에서 신기록을 낸 사례가 실제로 있다.
• 마지막 발은 마감 직전이 아니라 재채점 여유를 두고 쏜다.
• 인스턴스 파괴는 산출물 업로드를 확인한 다음이다. 최고 성능 모델의 가중치를 한 번 날려봤다.

두 도그마가 공존하는 방식

겉으로 충돌하는 두 규칙이 실제 운영 원리가 됐다.

하나. 돈은 방법으로 조인다. 유료 투입은 상금 기대값을 투입액으로 나눈 값으로 판단한다. 실측 신호가 없는 축에 연속 베팅하지 않는다. 매몰비용은 계산에서 제외한다.

둘. "현상 유지로 마감" 가지는 계획에 존재하지 않는다. 마감까지 가용 수단으로 공격한다.

이 둘은 층이 다르다. 불항복은 태세의 문제이고 절약은 지출의 문제다. 비용 0인 공격, 즉 로컬 분석과 무료 컴퓨트와 리서치와 다음 가설 설계는 마감까지 멈추지 않는다. 유료 발사는 실측 신호 위에서 한 발씩. 신호가 없으면 침묵하고, 있으면 주저하지 않는다.

침묵하지 않는 것과 주저하는 것이 둘 다 위반이다. 조르는 것도 규칙 위반이고, 산수가 섰는데 요청하지 않는 것도 규칙 위반이다.

그리고 하나 더: 두 번이면 코드로 내린다

같은 사고가 두 번 나면 그 자리에서 구조를 고친다. 문서에 규칙을 적는 것으로 끝내지 않는다.

이 규칙이 필요했던 이유는 실제로 같은 실수를 두 번 밟았기 때문이다. 최신 GPU 아키텍처 커널 문제를 두 번, VRAM 표기 오착을 두 번. 한 번 배운 사고도 필터를 코드로 만들지 않으면 반복된다.

한 번은 노이즈, 두 번은 패턴이다. 그리고 문서에 적힌 규칙은 권고고, 스크립트가 막는 규칙만 강제다.

남은 질문

세 대회의 부검을 다 쓰고 나니, 실패의 원인 목록이 대부분 판단이 아니라 순서에 관한 것이었다.

무엇을 할지는 대체로 알고 있었다. 리서치를 먼저 해야 한다는 것도, 보상 구조를 확인해야 한다는 것도, 계측을 검증해야 한다는 것도 알고 있었다. 실제로 노트에 적혀 있는 경우도 있었다. 그런데 급한 것이 중요한 것을 이겼다.

체크리스트가 그래서 필요하다. 체크리스트는 새 지식을 주지 않는다. 이미 아는 것을 급한 것보다 앞에 놓는 장치다.

다음 대회의 첫날에 물어야 할 건 이거다. 오늘 하고 싶은 일이 이 대회에서 가장 되돌릴 수 없는 결정인가, 아니면 가장 빨리 결과가 보이는 일인가?