본문으로 건너뛰기
&Dolphin
기술 블로그
설계

실패한 LLM 호출을 재시도하면 안 되는 경우

재시도는 같은 요청을 다시 보내는 것이 아니라, 부작용을 다시 일으키는 것이다.

목차

타임아웃이 났을 때 다시 부르는 것은 자연스러워 보인다. 그 호출이 도구를 실행했다면 이야기가 다르다.

응답을 못 받은 것과 실행되지 않은 것은 다르다

에이전트가 메일 발송 도구를 부른 뒤 응답이 끊겼다면, 메일은 나갔을 수도 있고 안 나갔을 수도 있다. 재시도는 그 확률을 두 배로 만든다.

나눠서 다룬다

실패 지점재시도
연결 실패 (요청이 안 감)안전하다
응답 파싱 실패안전하다
타임아웃 (도구 호출 없음)안전하다
타임아웃 (도구 호출 있음)안 된다

판단할 수 없으면 사람에게 넘긴다

"메일이 나갔는지 확인되지 않습니다. 발송 이력을 먼저 확인하세요" 라고 말하는 편이, 조용히 한 번 더 보내는 것보다 낫다. 고객이 같은 메일을 두 번 받는 것은 시스템이 잘 동작하지 않는다는 가장 눈에 띄는 신호다.

실패한 LLM 호출을 재시도하면 안 되는 경우 | &Dolphin