토큰최적화
-
토큰은 돈이다 시즌2 1편 - 압축 도구가 자기 벤치마크의 baseline까지 압축한 작업기AI 엔지니어링 2026. 10. 20. 07:27
격리 코드는 처음부터 있었다. 남의 hook만 격리하고 있었을 뿐이다. 출시하고 나서 새 모델로 벤치마크를 다시 돌렸다. 영어 코퍼스 실행 결과를 훑는데 답변 하나가 한국어로 적혀 있었다. 영어 프롬프트에, 영어 register를 시스템 프롬프트로 넣고, 영어 답을 기대한 자리에서.그 한 줄이 아니었으면 그 실행 결과를 그대로 README에 박았을 것이다. 절감률은 예쁘게 나와 있었으니까.여기서 register는 출력의 문체·형식 규약을 말한다. 존댓말을 쓸지, 문장을 완결할지 같은 것. 내가 만든 도구는 이 register를 바꿔 같은 답을 더 적은 토큰으로 내게 한다. hook이나 플러그인으로 모델 컨텍스트에 뭔가를 주입하는 도구를 만들면서 그 효과를 자기 개발 환경에서 잰다면 남 얘기가 아니다. (..
-
멀티프로젝트 Claude Code 설정 운영기 5편 - 30k 깎을 계획으로 시작해 6.3k에서 멈춘 이유AI 엔지니어링 2026. 9. 8. 07:47
세션을 열고 아무 명령도 내리지 않았는데 컨텍스트에 이미 6,490 토큰이 차 있었다. 글로벌 CLAUDE.md와 프로젝트 CLAUDE.md가 매 세션 통째로 실린 결과다.이 시리즈에서 나는 프로젝트 여러 곳의 .claude/를 한 저장소에서 관리하고(1편), 팀 룰과 개인 override를 분리하고(2편), 에이전트에게 Edit은 주되 commit은 막고(3편), 룰 주입을 상시 로드에서 조건부 로드로 바꿨다(4편). 4편 끝에서 "이거 토큰 꽤 먹는데" 하고 넘어간 자리를, 이번엔 자를 대고 전수로 다시 쟀다. 55개 컴포넌트를 분류하니 유지 16 / 압축 23 / 병합 8 / 제거 5 / 재측정 3이 나왔다. 명목 절감 추정치는 약 30.2k 토큰이었다.실제로 깎은 건 6.3k다. 80%가 미달이다..
-
측정하지 않으면 압축이 아니다 — 출력 압축 도구의 효과를 재는 법 (Scrooge 1편)AI 엔지니어링 2026. 6. 12. 15:53
🔗 scrooge1. 도입부 — "더 압축하자"가 위험한 이유압축 도구를 며칠 굴리다 보면 자연스러운 다음 생각이 떠오른다. *"영문 출력을 좀 더 깎을 수 있지 않을까?"* 규칙을 한두 줄 더 공격적으로 쓰면 토큰이 더 줄 것 같다.이 충동은 합리적으로 보이지만, 실은 방향을 모르는 최적화다. 더 깎았을 때 토큰이 정말 줄어드는지, 줄어든다면 얼마나 줄어드는지, 그 대가로 무엇이 깨지는지 — 이걸 모르는 채로 규칙만 더 공격적으로 쓰는 건 도박이다. 압축 도구에서 "규칙을 더 공격적으로"는 곧 출력의 명료성(auto-clarity)과 안전 register를 깎는 쪽으로 압력을 주는 일이기 때문이다. 이득은 불확실한데 위험은 확실하다.그래서 scrooge 개발 중 "더 압축하자"는 plan을 의도적으로..
-
토큰은 돈이다 — 한국어를 위한 LLM 출력 압축 도구 (Scrooge 0편)AI 엔지니어링 2026. 6. 10. 13:30
🔗 scrooge1. 도입부 — 왜 이 이야기가 중요한가LLM에게 길게 답하지 말라고 시켜본 적 있을 것이다. "간결하게", "불릿으로", "200자 이내로". 이게 단순한 취향 문제가 아닌 이유는, 출력 토큰이 곧 비용이자 지연시간이기 때문이다. 같은 정보를 절반의 토큰으로 전달할 수 있다면, 그건 API 청구서와 응답 속도에 직접 꽂히는 최적화다.그래서 "LLM 출력을 압축하자"는 도구들이 등장했다. 그런데 이들을 들여다보다가 한 가지가 걸렸다. 압축의 상당 부분이 영어의 약어 관습, 심하면 한문(Classical Chinese)식 함축에 기대고 있었다. 토큰을 줄이는 영리한 트릭이지만, 그 트릭을 읽어내려면 독자가 그 언어 문화의 소양을 갖고 있어야 한다. 압축된 출력이 누군가에게는 더 읽기 어려..