반응형
측정오염
-
토큰은 돈이다 시즌2 0편 - 출시하자마자 내 숫자 세 개가 전부 틀렸다AI 엔지니어링 2026. 10. 13. 07:22
stats는 2.89배로 부풀고, 벤치는 내 훅에 오염되고, README는 재본 적 없는 정확도를 광고하고 있었다 출시하고 제일 먼저 한 일은 내 도구를 나한테 써보는 거였다. 압축 모드를 켜고 하루를 보낸 뒤 /scrooge-stats를 쳤다. 절감량이 체감보다 컸다. 압축 도구가 파는 건 결국 숫자 하나뿐이라 그 숫자가 크게 나오면 기뻐할 게 아니라 의심해야 한다.세션 트랜스크립트를 직접 세어봤다. 어시스턴트 라인이 385줄인데 message.id는 143개였다. Claude Code는 응답 하나를 content block마다 한 줄씩 JSONL에 쓰고, 그 줄마다 같은 usage 객체를 통째로 반복한다. 줄을 전부 더하면 2.89배가 나온다. 내 stats는 첫 커밋부터 그렇게 더하고 있었다.거기서..