기술 블로그
AI
글 8건
AI
토큰 예산을 기능이 아니라 구조로 다루기
컨텍스트를 늘리는 것은 해결이 아니라 유예다. 무엇을 넣지 않을지를 먼저 정한다.
· #cost #llm #token-optimization
AI
RAG 를 붙이기 전에 물어야 할 세 가지
대부분의 RAG 실패는 검색이 아니라 문서에서 시작된다.
· #architecture #rag
AI
LLM 응답을 믿을 수 있게 만드는 것은 프롬프트가 아니라 스키마다
"JSON 으로만 답해" 라고 쓰는 대신, JSON 이 아니면 통과하지 못하게 만든다.
· #llm #prompt-engineering
AI
평가 없는 프롬프트 개선은 취향이다
고쳤더니 좋아진 것 같다는 감각은 대개 마지막 예시 하나에서 온다.
· #evaluation #llm
AI
에이전트에게 도구를 주기 전에 로그를 먼저 준다
무엇을 왜 불렀는지 볼 수 없으면 고칠 수도 없다.
· #agent #llm
AI
컨텍스트 윈도우가 커져도 검색은 사라지지 않는다
다 넣을 수 있다는 것과 다 넣어야 한다는 것은 다르다.
· #llm #rag
AIKO
캐시할 수 있는 프롬프트의 모양
같은 내용을 앞에 두는 것만으로 비용이 절반이 된다.
· #cost #prompt-engineering
AIKO
Postgres 하나로 벡터 검색까지 미루기
전용 벡터 DB 를 도입하는 시점은 생각보다 훨씬 늦다.
· #architecture #postgresql #rag