실패한 LLM 호출을 재시도하면 안 되는 경우
재시도는 같은 요청을 다시 보내는 것이 아니라, 부작용을 다시 일으키는 것이다.
목차
타임아웃이 났을 때 다시 부르는 것은 자연스러워 보인다. 그 호출이 도구를 실행했다면 이야기가 다르다.
응답을 못 받은 것과 실행되지 않은 것은 다르다
에이전트가 메일 발송 도구를 부른 뒤 응답이 끊겼다면, 메일은 나갔을 수도 있고 안 나갔을 수도 있다. 재시도는 그 확률을 두 배로 만든다.
나눠서 다룬다
| 실패 지점 | 재시도 |
|---|---|
| 연결 실패 (요청이 안 감) | 안전하다 |
| 응답 파싱 실패 | 안전하다 |
| 타임아웃 (도구 호출 없음) | 안전하다 |
| 타임아웃 (도구 호출 있음) | 안 된다 |
판단할 수 없으면 사람에게 넘긴다
"메일이 나갔는지 확인되지 않습니다. 발송 이력을 먼저 확인하세요" 라고 말하는 편이, 조용히 한 번 더 보내는 것보다 낫다. 고객이 같은 메일을 두 번 받는 것은 시스템이 잘 동작하지 않는다는 가장 눈에 띄는 신호다.