에이전트에게 도구를 주기 전에 로그를 먼저 준다

에이전트가 도구를 잘못 쓰는 것은 정상이다. 문제는 왜 그렇게 골랐는지 알 수 없는 것이다.

남겨야 하는 것

호출 하나마다 이 넷을 남긴다.

• 그 시점의 입력 (요약이 아니라 실제로 모델이 본 것)
• 고른 도구와 인자
• 도구의 응답 (성공·실패 모두)
• 다음 판단

이걸 안 남기면 "가끔 이상한 도구를 부른다" 는 신고가 들어왔을 때 재현할 방법이 없다. 재현이 안 되면 프롬프트를 바꿔 보고 나아진 것 같다고 판단하게 되는데, 그건 앞 글에서 말한 취향이다.

도구는 적게 시작한다

도구가 셋이면 잘못 고를 확률이 낮고, 잘못 골랐을 때 원인이 보인다. 열둘이면 둘 다 아니다.

되돌릴 수 없는 도구는 마지막에 준다

메일 발송, 결제, 삭제. 이런 도구는 에이전트가 충분히 안정된 뒤에 붙인다. 그 전까지는 "보낼 내용을 만들기" 까지만 시키고 실행은 사람이 누른다.

이 순서를 지키면 사고의 상한이 "이상한 초안이 만들어짐" 에서 멈춘다.