오픈소스
-
토큰은 돈이다 시즌2 1편 - 압축 도구가 자기 벤치마크의 baseline까지 압축한 작업기AI 엔지니어링 2026. 10. 20. 07:27
격리 코드는 처음부터 있었다. 남의 hook만 격리하고 있었을 뿐이다. 출시하고 나서 새 모델로 벤치마크를 다시 돌렸다. 영어 코퍼스 실행 결과를 훑는데 답변 하나가 한국어로 적혀 있었다. 영어 프롬프트에, 영어 register를 시스템 프롬프트로 넣고, 영어 답을 기대한 자리에서.그 한 줄이 아니었으면 그 실행 결과를 그대로 README에 박았을 것이다. 절감률은 예쁘게 나와 있었으니까.여기서 register는 출력의 문체·형식 규약을 말한다. 존댓말을 쓸지, 문장을 완결할지 같은 것. 내가 만든 도구는 이 register를 바꿔 같은 답을 더 적은 토큰으로 내게 한다. hook이나 플러그인으로 모델 컨텍스트에 뭔가를 주입하는 도구를 만들면서 그 효과를 자기 개발 환경에서 잰다면 남 얘기가 아니다. (..
-
LLM 출력 압축에 문서 경계를 그은 작업기AI 엔지니어링 2026. 9. 29. 07:15
README를 써달라고 했더니 ~함 종결로 나왔다 출력 토큰을 깎는 register 규칙을 만들어 쓴다. 존댓말을 떨어뜨리고, ~함으로 끝내고, 의미가 명확하면 조사를 생략하는 식이다. 대화에서는 잘 맞았다. 답을 읽고 나면 버리는 표면이라 어조를 깎아도 손해가 없었다.문제는 그 다음이었다. 한 세션에서 README의 설치 섹션을 써달라고 했더니 이런 게 나왔다.Node 18+ 필요. 설치 `npm i taskline`. 초기화 `npx taskline init` 실행 시`taskline.config.json` 생성됨. 환경변수 `TASKLINE_TOKEN` 필수 — 없으면 기동 실패.정보는 다 있다. 그리고 이대로 저장소에 커밋할 수는 없다. README는 내가 읽고 버리는 답변이 아니라 처음 오는 사..