컨텍스트 윈도우가 커져도 검색은 사라지지 않는다

컨텍스트가 커지면서 "이제 전부 넣으면 되지 않느냐" 는 이야기가 나온다. 넣을 수는 있다. 그런데 세 가지가 남는다.

비용은 선형으로 는다

호출마다 전체 문서를 넣으면 사용자 수에 문서량을 곱한 만큼 낸다. 검색은 그 곱을 관련 있는 몇 개로 바꾸는 장치다.

최신성은 컨텍스트로 해결되지 않는다

문서가 바뀌었을 때 무엇을 다시 넣어야 하는지는 여전히 알아야 한다. 그 판단이 곧 색인이다. 전부 넣는 방식은 그 판단을 매 호출로 미룰 뿐이다.

근거를 가리킬 수 없다

"어느 문서를 보고 답했는가" 를 답할 수 없으면 사람이 검증할 수 없고, 검증할 수 없으면 되돌릴 수 없는 곳에 쓸 수 없다.

그래서 어떻게 하나

컨텍스트가 커진 만큼 검색을 느슨하게 할 수 있게 됐다. 예전에는 상위 3개를 골라야 했다면 이제 12개를 넣어도 된다 — 정밀도를 조금 포기하고 재현율을 얻는 쪽으로 임계값을 옮기는 것이 실질적인 변화다.

검색을 없애는 것이 아니라, 검색이 덜 정확해도 되게 만든 것이다.