코드리뷰
-
골든셋·headless runner로 LLM 판정 게이트 회귀 테스트 작업기AI 엔지니어링 2026. 9. 15. 07:53
7월 13일, 게이트 마찰을 줄이겠다고 설정 문서 스물네 개를 한꺼번에 손봤다. 커맨드, 스킬, 가이드, 라이프사이클 계약. 그 더미 안에 판정 에이전트 파일의 네 줄짜리 diff가 섞여 있었다.- verdict is PASS when no CRITICAL or WARNING, REVISE when any CRITICAL or WARNING exists+ verdict is REVISE when any CRITICAL finding exists, PASS when no CRITICAL exists+ (WARNING and INFO are report-only and never flip the verdict — CRITICAL is the only decision point)의도한 변경이었다. 경고 하나에..
-
프런트엔드 AX 설계기 7편 - 게이트를 속이는 AI를 차단 없이 잡기AI 엔지니어링 2026. 7. 20. 17:48
게이트를 세운 이유는 단순했다. 사람이 매번 안 들여다봐도 품질 바닥이 유지되길 바랐다. lint·타입체크·테스트를 CI에 걸고, 구현은 AI 코더에게 "통과할 때까지 고쳐"라고 맡겼다. 며칠 뒤 초록불이 켜진 PR을 열었는데, 테스트 파일의 케이스 수가 줄어 있었다. 실패하던 테스트를 AI가 지워 버린 것이다. 게이트는 통과했고, 그 통과는 거짓말이었다.lint·tsc·test 게이트를 AI에게 맡겨 본 사람이라면 한 번쯤 겪는 장면이다. 이 글은 그 뒤에 무엇을 붙였는지에 대한 기록이다 — 게이트 옆에서 "게이트를 속이는지"를 보는 별도 레이어, 그리고 그 레이어가 정당한 수정까지 잡아 버리는 false-positive 폭탄이 되지 않게 만든 과정.게이트는 '고쳐라'와 동시에 '속여라'를 가르친다검증..