AI 코딩 에이전트가 한 줄짜리 수정 요청에도 테스트 전체를 처음부터 다시 돌리고, 아무도 요청하지 않은 체크섬이나 방어 코드를 추가하다가 정작 사용량 한도만 축내는 경우가 있습니다. 이런 "과잉 검증 — 필요한 확인 범위를 넘어서 불필요하게 재확인을 반복하는 것"과 "삽질 — 진전 없이 같은 작업을 맴도는 것" 문제는 최근 GPT-5.6 Sol(OpenAI가 2026년 7월 9일 공개한 GPT-5.6 계열의 최상위 모델)을 쓰는 사람들 사이에서 특히 화제가 됐습니다. 이 글은 같은 문제가 Claude Code에서도 벌어질 수 있는 구조를 짚고, 이를 막아주는 오픈소스 플러그인 설치법과 Claude Code 자체 안전장치를 약 15분 안에 따라 할 수 있도록 단계별로 안내합니다.
🟢 현행 모델 라인업 일치 · 모델 안내 · Fable 구독 안내
Fable 5·5.1 구독 안내(2026년 11월 1일 갱신): 2026년 9월 1일 출시된 Claude Fable 5.1이 현행 Fable 모델이고, Fable 5는 레거시로 전환됐습니다. 구독 조건은 두 모델이 같습니다 — Max·Ultra·Team Premium 플랜은 주간 사용 한도의 50% 범위에서 포함되고, Pro·Team Standard 플랜은 사용량 크레딧(입력 100만 토큰당 $10, 출력 $50)으로 이용합니다. 일회성 $100 크레딧은 Fable 5 전환 당시에만 지급됐고 5.1에는 없습니다. 일부 코딩·디버깅 요청은 보안 분류기에 의해 Opus 모델로 대체 응답될 수 있습니다(두 모델 공통). 자세한 내용은 Fable 5.1 가이드와 Fable 5 재개 안내를 참조하세요.
- 정상 흐름 — 요청 → 구현 → 필요한 검증만 → 완료. 검증은 실제로 바뀐 부분만 확인하고 끝납니다.
- 과잉 검증 흐름 — 요청 → 구현까지는 같지만, 그 뒤로 전체 재검증 → 요청하지 않은 해시 생성 → 작업 범위 확장 → 사용량 한도 소진으로 이어집니다.
왜 “GPT-5.6 Sol 과잉 검증” 이야기가 나왔나요?
사소한 수정 한 건에도 모델이 전체 회귀 테스트 — regression test, 기존 기능이 여전히 잘 작동하는지 확인하기 위해 반복하는 테스트 — 를 처음부터 다시 돌린다는 사용기가 퍼졌기 때문입니다. 한 개발자가 2026년 9월 8일 공개한 Codex 프롬프트 분석 글에 따르면, 아주 작은 변경에도 정해진 239개 테스트 케이스를 전부 다시 통과시키는 패턴이 반복됐다고 합니다(개인 사용기이며, 여러 사용자의 공통 수치로 확인된 것은 아닙니다). OpenAI의 자체 GPT-5.6 시스템 카드도 Sol이 이전 모델보다 목표를 집요하게 추구해 사용자가 요청하지 않은 행동까지 시도하는 경향이 더 크다고 명시했습니다(절대 빈도는 낮다고 함께 서술). 이와 별도로 2026년 7월 말에는 ChatGPT Work·Codex 이용자들의 사용량 한도가 예상보다 빠르게 줄어드는 문제가 보고됐고, OpenAI는 한도를 초기화하면서 원인을 "Sol이 더 오래 작업하고 도구 호출을 더 많이 하며, 코드 모드(programmatic tool calling)가 도구 응답을 기다리는 동안에도 사용량을 소모한 점"으로 설명하고 백엔드 개선으로 일반적인 사용에서 약 18% 더 오래 쓸 수 있을 것이라고 밝혔습니다. 즉 한도 초기화의 공식 원인은 '과잉 검증' 자체가 아니라 긴 작업·많은 도구 호출이었지만, 사용자 입장에서 체감하는 결과(한도가 빨리 줆)는 같습니다.
이 논란이 국내 커뮤니티에서 큰 관심을 받은 이유는 단순합니다. 에이전트가 "확인을 더 철저히 한다"는 것 자체는 문제가 아니지만, 그 확인이 실제로 필요한 범위를 넘어서면 시간과 사용량만 소모하는 헛수고가 되기 때문입니다. 그리고 이 구조적 위험은 특정 모델 하나에 국한되지 않습니다.
Claude Code 사용자도 관련이 있는 문제인가요?
구조적으로는 그렇습니다. 여러 단계를 스스로 계획하고 실행하는 에이전틱 코딩 도구라면, 검증 범위를 어디까지로 볼지 자체 판단에 맡기는 이상 비슷한 위험이 생길 수 있습니다. 다만 이 글의 근거 자료에서 Claude Code가 GPT-5.6 Sol과 동일한 사건(한도 초기화 등)을 겪었다는 보도는 확인되지 않았습니다. 대신 Claude Code는 이런 위험을 줄이기 위한 자체 장치를 이미 제공합니다.
- Plan Mode(플랜 모드) — 파일을 실제로 고치거나 명령을 실행하기 전에, 읽기와 분석만 하는 단계입니다. 계획을 먼저 검토받고 승인한 뒤에야 실제 수정이 시작되므로, 요청 범위를 벗어난 작업이 미리 걸러집니다.
- Hooks(훅) — 특정 시점에 자동으로 실행되도록 등록해 둔 스크립트 — 예를 들어 파일 수정 이후(PostToolUse)에만 검증 스크립트가 돌게 하거나, 저장소 밖의 파일 쓰기 같은 위험한 동작을 사전에(PreToolUse) 차단할 수 있습니다.
이 두 기능만으로도 어느 정도 제어가 되지만, "요청한 범위 안에서만 움직이도록 매번 명시적으로 선언하고 싶다"는 요구에는 전용 도구가 더 편합니다. 그래서 나온 것이 커뮤니티 오픈소스 플러그인입니다.
과잉 검증을 막는 플러그인은 어떤 행동을 차단하나요?
대표적인 오픈소스 프로젝트로 Stop That Shit(GitHub: lennney/stop-that-shit, MIT 라이선스, 약 1.8k 스타)이 있습니다. 이름에 비속어가 들어 있지만 실제 프로젝트명이자 설치 명령에 그대로 쓰이는 고유 명사이므로, 이 글에서는 원문 그대로 표기합니다. 이 플러그인은 Codex, Claude Code, OpenCode, Hermes Agent CLI, Pi 등 여러 플랫폼을 지원하는 Hook + Skill Guard — 에이전트의 행동을 후크로 가로채 규칙에 맞는지 검사하는 보조 도구 — 이며, 아래 네 가지 유형의 "작업 범위 이탈"을 차단하는 것을 목표로 합니다.
| 유형 | 무엇이 문제인가 | 예시 |
|---|---|---|
| 스코프 크리프 | 요청한 범위를 넘어 작업이 계속 커짐 | 한 줄 수정 요청 → 전체 리팩터링 |
| 불필요한 방어 코드 | 쓰이지 않는 체크섬·방어 로직 추가 | 요청하지 않은 해시값·안전장치 생성 |
| 의도 위반 | 검토만 요청했는데 코드를 직접 수정 | review 요청 → 자동 edit 실행 |
| 작업 재탕 | 끝난 작업을 다시 읽고 재검증 | 사소한 수정에도 전체 테스트 재실행 |
핵심 원칙은 "사용자가 요청했거나, 도달 가능한 코드와 완료 조건이 실제로 요구하는 작업만 추가 작업으로 인정한다"는 것입니다. 즉 에이전트가 스스로 "혹시 몰라서" 하는 일들을 미리 선언한 경계 안에서만 허용하도록 만드는 방식입니다.
시작 전 준비물
- Claude Code 설치 및 최신 버전 — 플러그인 시스템은 Claude Code의 비교적 최근 기능이므로, 오래된 버전이라면 먼저 업데이트하세요.
- Git — 플러그인 저장소를 내려받는 데 필요합니다. macOS·Linux는 대부분 기본 설치돼 있고, Windows는 Git for Windows(Git Bash) 설치가 필요할 수 있습니다.
- Node.js 18 이상 — 저장소 README(2026년 9월 7일 갱신본)가 일반 호스트의 필수 조건으로 명시합니다. 터미널에서
node -v로 버전을 확인하세요. - 터미널 사용 경험 — 복사한 명령어를 그대로 붙여넣고 실행할 수 있으면 충분합니다.
- 신뢰 판단 — 이 플러그인은 Anthropic 공식 마켓플레이스(claude-plugins-official)가 아닌 커뮤니티 오픈소스입니다. 설치 전 저장소의 hooks·skills 파일 내용을 한 번 훑어보는 것을 권장합니다.
용어 빠른 풀이
- Hook(훅) — 도구 실행 전후처럼 특정 시점에 자동으로 실행되도록 등록해 둔 스크립트입니다.
- Skill(스킬) — 특정 작업 방식을 정의해 둔, 반복해서 불러 쓸 수 있는 지침 묶음입니다.
- 마켓플레이스(marketplace) — 설치 가능한 플러그인 목록을 모아 둔 저장소입니다. 로컬 폴더도 마켓플레이스로 등록할 수 있습니다.
- 스코프 크리프(scope creep) — 처음 요청한 작업 범위를 벗어나 일이 계속 커지는 현상입니다.
- 회귀 테스트(regression test) — 코드를 바꾼 뒤에도 기존 기능이 여전히 잘 작동하는지 확인하는 반복 테스트입니다.
- 체크섬/해시(checksum/hash) — 파일이 변형되지 않았는지 확인하기 위한 고유 값입니다.
단계별 설치와 사용법
- 저장소 내려받기 — 터미널에서 아래 명령을 실행합니다.
성공 신호:git clone https://github.com/lennney/stop-that-shit.git cd stop-that-shitstop-that-shit폴더가 생기고, 그 안으로 이동해도 오류가 없으면 됩니다. - 플러그인 구조 검증 — 저장소 폴더(체크아웃 루트) 안에서 실행합니다.
성공 신호: 오류 메시지 없이 검증이 끝나면 됩니다. 경로 오류가 나면 폴더 위치를 다시 확인하세요.claude plugin validate . - 로컬 마켓플레이스로 등록
성공 신호: 오류 없이 명령이 끝나고,claude plugin marketplace add .//plugin화면에 이 마켓플레이스가 목록에 나타나면 됩니다. - 플러그인 설치
성공 신호: 설치 완료 메시지가 뜨고,claude plugin install stop-that-shit@stop-that-shit/plugin목록에stop-that-shit이 표시됩니다. - 적용하기 — Claude Code를 재시작하거나, 세션 안에서 아래 명령을 입력합니다.
성공 신호: 재시작 또는 재로드 후 슬래시 명령 자동완성에/reload-plugins/stop-that-shit:stop-that-shit이 나타납니다. - 실제로 써보기 — 예를 들어 코드 변경 없이 리뷰만 맡기고 싶을 때는 이렇게 입력합니다.
성공 신호: 에이전트가 파일을 수정하지 않고 리뷰 결과만 보고합니다. 수정이 필요할 때는/stop-that-shit:stop-that-shit review -- Review this diff. Report findings; do not edit.review대신change모드를 쓰고, 건드릴 파일을 아래처럼 직접 못 박을 수도 있습니다(문서에 나온 경계 선언 문법입니다).
Claude Code에서는 이 뒤에 슬래시 명령 접두어(change -- Fix the failing config test. lock change files=src/config.cjs|test/config.test.cjs -- Fix this behavior. change deps=allow -- Add the requested parser dependency. change hash=allow -- Generate the requested release checksum. change agents=1 -- Use one independent test shard./stop-that-shit:stop-that-shit)를 그대로 붙여 입력합니다.
자주 막히는 지점과 해결법
- Windows에서 git 명령을 찾을 수 없다는 오류 — Git for Windows(Git Bash)가 설치돼 있는지 확인하고, 설치 후 터미널을 새로 열어 다시 시도하세요.
- claude plugin validate 실행 시 경로 오류 — 반드시 저장소를 내려받은 폴더(체크아웃 루트) 안에서 실행해야 합니다.
cd stop-that-shit을 먼저 했는지 확인하세요. - 설치 후에도 슬래시 명령이 자동완성에 안 뜬다 —
/reload-plugins를 실행했는지, 혹은 Claude Code를 완전히 재시작했는지 확인하세요. - 회사·팀 정책상 서드파티 플러그인 설치가 막혀 있다 — 이 경우 앞서 소개한 Plan Mode와 Hooks만으로도 상당 부분 대체할 수 있습니다. 예를 들어 PostToolUse 훅으로 "명시적으로 요청된 테스트만 실행"하도록 규칙을 걸어 두는 방식입니다.
응용: 네이티브 기능과 함께 쓰기
플러그인은 보조 도구이지 만능 해결책이 아닙니다. Plan Mode로 먼저 계획을 검토해 애초에 범위를 벗어난 계획 자체를 걸러내고, 계획이 승인된 뒤에는 Stop That Shit 같은 Skill Guard로 실행 단계의 경계를 지키게 하는 이중 구조가 가장 안전합니다. 팀 단위로 쓴다면 Hooks 설정을 저장소에 커밋해 팀 전체가 같은 규칙을 공유하는 것도 다음 단계로 시도해 볼 만합니다.
자주 묻는 질문
Q. GPT-5.6 Sol은 왜 사용량 한도를 빨리 소진하나요?
OpenAI가 2026년 7월 말 한도를 초기화하며 밝힌 공식 원인은 Sol이 더 오래 작업하고 도구 호출을 더 많이 하며 코드 모드가 도구 응답 대기 중에도 사용량을 소모했다는 점이며, 백엔드 개선으로 약 18% 더 오래 쓸 수 있을 것이라고 했습니다. 사소한 수정에도 전체 회귀 테스트(예: 239개 테스트 케이스)를 다시 돌린다는 과잉 검증 사례는 개별 사용기로 보고된 것으로, 같은 방향(사용량 소모)의 체감 원인 중 하나입니다.
Q. Stop That Shit은 Anthropic 공식 플러그인인가요?
아닙니다. MIT 라이선스로 공개된 커뮤니티 오픈소스 프로젝트이며, Anthropic의 공식 마켓플레이스가 아니라 로컬 저장소를 마켓플레이스로 직접 등록해 설치하는 방식입니다.
Q. Claude Code에서도 GPT-5.6 Sol과 똑같은 사건이 보고됐나요?
이 글의 근거 자료에서는 Claude Code에서 동일한 사건(사용량 한도 초기화 등)이 보고된 사례는 확인되지 않았습니다. 다만 에이전틱 코딩 도구 전반에 구조적으로 존재할 수 있는 위험이며, Claude Code는 Plan Mode와 Hooks라는 자체 억제 장치를 제공합니다.
Q. 이 플러그인만 설치하면 과잉 검증 문제가 완전히 사라지나요?
아닙니다. 경계를 선언한 범위 안에서 에이전트의 행동을 걸러주는 보조 도구이므로, Claude Code의 Plan Mode·Hooks와 함께 쓰는 것을 권장합니다.