회귀테스트
-
골든셋·headless runner로 LLM 판정 게이트 회귀 테스트 작업기AI 엔지니어링 2026. 9. 15. 07:53
7월 13일, 게이트 마찰을 줄이겠다고 설정 문서 스물네 개를 한꺼번에 손봤다. 커맨드, 스킬, 가이드, 라이프사이클 계약. 그 더미 안에 판정 에이전트 파일의 네 줄짜리 diff가 섞여 있었다.- verdict is PASS when no CRITICAL or WARNING, REVISE when any CRITICAL or WARNING exists+ verdict is REVISE when any CRITICAL finding exists, PASS when no CRITICAL exists+ (WARNING and INFO are report-only and never flip the verdict — CRITICAL is the only decision point)의도한 변경이었다. 경고 하나에..
-
멀티프로젝트 Claude Code 설정 운영기 5편 - 30k 깎을 계획으로 시작해 6.3k에서 멈춘 이유AI 엔지니어링 2026. 9. 8. 07:47
세션을 열고 아무 명령도 내리지 않았는데 컨텍스트에 이미 6,490 토큰이 차 있었다. 글로벌 CLAUDE.md와 프로젝트 CLAUDE.md가 매 세션 통째로 실린 결과다.이 시리즈에서 나는 프로젝트 여러 곳의 .claude/를 한 저장소에서 관리하고(1편), 팀 룰과 개인 override를 분리하고(2편), 에이전트에게 Edit은 주되 commit은 막고(3편), 룰 주입을 상시 로드에서 조건부 로드로 바꿨다(4편). 4편 끝에서 "이거 토큰 꽤 먹는데" 하고 넘어간 자리를, 이번엔 자를 대고 전수로 다시 쟀다. 55개 컴포넌트를 분류하니 유지 16 / 압축 23 / 병합 8 / 제거 5 / 재측정 3이 나왔다. 명목 절감 추정치는 약 30.2k 토큰이었다.실제로 깎은 건 6.3k다. 80%가 미달이다..