캐시할 수 있는 프롬프트의 모양

프롬프트 캐싱은 앞부분이 같을 때만 듣는다. 그래서 무엇을 앞에 두느냐가 곧 비용이다.

자주 바뀌는 것을 뒤로 보낸다

[시스템 지시]        ← 거의 안 바뀜   ✅ 캐시됨
[도구 정의]          ← 배포할 때만    ✅ 캐시됨
[회사 용어집]        ← 가끔           ✅ 캐시됨
[대화 이력]          ← 매번           ❌
[이번 질문]          ← 매번           ❌

흔한 실수는 사용자 이름이나 현재 시각을 시스템 지시에 끼워 넣는 것이다. 그 한 줄이 뒤에 오는 전부를 캐시에서 떨어뜨린다.

시각을 넣어야 한다면 뒤에 넣는다

"오늘은 2026-09-08 입니다" 가 필요하다면 대화 이력 직전에 둔다. 앞에 두면 하루가 아니라 매 호출마다 캐시가 깨진다.

캐시 적중률을 로그로 남긴다

응답에 오는 캐시 토큰 수를 기록해 두면, 프롬프트를 고쳤을 때 비용이 왜 늘었는지를 나중에 설명할 수 있다. 남기지 않으면 "어느 날부터 비용이 늘었다" 만 남는다.