벤치마크
-
토큰은 돈이다 시즌2 1편 - 압축 도구가 자기 벤치마크의 baseline까지 압축한 작업기AI 엔지니어링 2026. 10. 20. 07:27
격리 코드는 처음부터 있었다. 남의 hook만 격리하고 있었을 뿐이다. 출시하고 나서 새 모델로 벤치마크를 다시 돌렸다. 영어 코퍼스 실행 결과를 훑는데 답변 하나가 한국어로 적혀 있었다. 영어 프롬프트에, 영어 register를 시스템 프롬프트로 넣고, 영어 답을 기대한 자리에서.그 한 줄이 아니었으면 그 실행 결과를 그대로 README에 박았을 것이다. 절감률은 예쁘게 나와 있었으니까.여기서 register는 출력의 문체·형식 규약을 말한다. 존댓말을 쓸지, 문장을 완결할지 같은 것. 내가 만든 도구는 이 register를 바꿔 같은 답을 더 적은 토큰으로 내게 한다. hook이나 플러그인으로 모델 컨텍스트에 뭔가를 주입하는 도구를 만들면서 그 효과를 자기 개발 환경에서 잰다면 남 얘기가 아니다. (..
-
토큰은 돈이다 시즌2 0편 - 출시하자마자 내 숫자 세 개가 전부 틀렸다AI 엔지니어링 2026. 10. 13. 07:22
stats는 2.89배로 부풀고, 벤치는 내 훅에 오염되고, README는 재본 적 없는 정확도를 광고하고 있었다 출시하고 제일 먼저 한 일은 내 도구를 나한테 써보는 거였다. 압축 모드를 켜고 하루를 보낸 뒤 /scrooge-stats를 쳤다. 절감량이 체감보다 컸다. 압축 도구가 파는 건 결국 숫자 하나뿐이라 그 숫자가 크게 나오면 기뻐할 게 아니라 의심해야 한다.세션 트랜스크립트를 직접 세어봤다. 어시스턴트 라인이 385줄인데 message.id는 143개였다. Claude Code는 응답 하나를 content block마다 한 줄씩 JSONL에 쓰고, 그 줄마다 같은 usage 객체를 통째로 반복한다. 줄을 전부 더하면 2.89배가 나온다. 내 stats는 첫 커밋부터 그렇게 더하고 있었다.거기서..
-
LLM 출력 압축에 문서 경계를 그은 작업기AI 엔지니어링 2026. 9. 29. 07:15
README를 써달라고 했더니 ~함 종결로 나왔다 출력 토큰을 깎는 register 규칙을 만들어 쓴다. 존댓말을 떨어뜨리고, ~함으로 끝내고, 의미가 명확하면 조사를 생략하는 식이다. 대화에서는 잘 맞았다. 답을 읽고 나면 버리는 표면이라 어조를 깎아도 손해가 없었다.문제는 그 다음이었다. 한 세션에서 README의 설치 섹션을 써달라고 했더니 이런 게 나왔다.Node 18+ 필요. 설치 `npm i taskline`. 초기화 `npx taskline init` 실행 시`taskline.config.json` 생성됨. 환경변수 `TASKLINE_TOKEN` 필수 — 없으면 기동 실패.정보는 다 있다. 그리고 이대로 저장소에 커밋할 수는 없다. README는 내가 읽고 버리는 답변이 아니라 처음 오는 사..
-
측정하지 않으면 압축이 아니다 — 출력 압축 도구의 효과를 재는 법 (Scrooge 1편)AI 엔지니어링 2026. 6. 12. 15:53
🔗 scrooge1. 도입부 — "더 압축하자"가 위험한 이유압축 도구를 며칠 굴리다 보면 자연스러운 다음 생각이 떠오른다. *"영문 출력을 좀 더 깎을 수 있지 않을까?"* 규칙을 한두 줄 더 공격적으로 쓰면 토큰이 더 줄 것 같다.이 충동은 합리적으로 보이지만, 실은 방향을 모르는 최적화다. 더 깎았을 때 토큰이 정말 줄어드는지, 줄어든다면 얼마나 줄어드는지, 그 대가로 무엇이 깨지는지 — 이걸 모르는 채로 규칙만 더 공격적으로 쓰는 건 도박이다. 압축 도구에서 "규칙을 더 공격적으로"는 곧 출력의 명료성(auto-clarity)과 안전 register를 깎는 쪽으로 압력을 주는 일이기 때문이다. 이득은 불확실한데 위험은 확실하다.그래서 scrooge 개발 중 "더 압축하자"는 plan을 의도적으로..