평가 없는 프롬프트 개선은 취향이다

프롬프트를 고치고 몇 번 돌려 본 뒤 "좋아졌다" 고 판단하는 일이 흔하다. 그 판단은 대개 마지막에 본 예시 하나에서 온다.

30개면 충분하다

완벽한 평가셋을 만들려다 아무것도 못 만드는 경우를 자주 본다. 실제로 필요한 것은 틀렸던 입력 30개다. 운영 로그에서 고르면 만드는 데 한나절이면 된다.

• 실제로 실패했던 것 20개
• 경계에 있는 것 5개
• 아주 평범한 것 5개 (고치다가 쉬운 것을 망가뜨리는 일이 실제로 있다)

점수보다 방향이 중요하다

정답률 87% 라는 숫자 자체는 쓸모가 적다. 쓸모 있는 것은 바꾸기 전과 후 중 어느 쪽이 나은가이고, 그건 같은 30개를 두 번 돌리면 나온다.

$ ./eval --prompt v3 --cases cases.jsonl
  통과 24 / 30   (v2 대비 +3, 새로 깨진 것 1)

"새로 깨진 것 1" 이 이 표에서 가장 중요한 칸이다. 총점만 보면 그 하나가 묻힌다.

자동 채점이 애매하면 사람이 본다

LLM 으로 채점하는 방법이 있지만, 채점 기준이 애매한 과제에서는 채점기도 같이 흔들린다. 30개는 사람이 눈으로 볼 수 있는 양이다. 그 규모를 넘기기 전에 자동화를 서두를 이유가 없다.