기술 블로그
#llm
글 7건
AI
토큰 예산을 기능이 아니라 구조로 다루기
컨텍스트를 늘리는 것은 해결이 아니라 유예다. 무엇을 넣지 않을지를 먼저 정한다.
· #cost #llm #token-optimization
AI
LLM 응답을 믿을 수 있게 만드는 것은 프롬프트가 아니라 스키마다
"JSON 으로만 답해" 라고 쓰는 대신, JSON 이 아니면 통과하지 못하게 만든다.
· #llm #prompt-engineering
AI
평가 없는 프롬프트 개선은 취향이다
고쳤더니 좋아진 것 같다는 감각은 대개 마지막 예시 하나에서 온다.
· #evaluation #llm
AI
에이전트에게 도구를 주기 전에 로그를 먼저 준다
무엇을 왜 불렀는지 볼 수 없으면 고칠 수도 없다.
· #agent #llm
AI
컨텍스트 윈도우가 커져도 검색은 사라지지 않는다
다 넣을 수 있다는 것과 다 넣어야 한다는 것은 다르다.
· #llm #rag
설계KO
스트리밍 응답의 진짜 비용은 UX 가 아니라 트랜잭션이다
글자가 흐르는 동안 커넥션도 함께 붙잡혀 있다.
· #architecture #llm #spring-boot
설계KO
LLM 호출을 도메인 경계 안에 두지 않는 이유
모델을 바꾸는 일이 주문 도메인을 건드리는 일이 되면 안 된다.
· #architecture #llm