AI 가 쓴 원고 하나에서 클로드 코드 기술 주장 9건 중 6건이 거짓이었습니다. 검사 역할에 고칠 권한까지 줘야 할까요? 필자의 답은 주지 않는다입니다.
- 무엇을 했나 검사 역할 서브에이전트에 Edit 를 뺀 판과 넣은 판을 빈 폴더에서 한 번씩 돌렸습니다
- 결과 숫자 Edit 없는 판은 원고 해시가 그대로였고, Edit 를 넣은 판은 검사자가 직접 고쳐 해시가 바뀌었습니다
- 누구에게 쓸모 AI 가 쓴 원고나 문서를 다른 AI 에게 검사시키는 분
| 검사 역할의 도구 | 거짓을 찾았나 | 원고를 고쳤나 | 남는 것 |
|---|---|---|---|
| Read, Grep | 1건 찾음 | 안 고침(해시 그대로) | 반송 보고, 다시 판정할 쪽 |
| Read, Grep, Edit | 1건 찾음 | 직접 고침(해시 바뀜) | 고친 문장을 다시 볼 쪽이 없음 |
안녕하세요? 정리하는 개발자 워니즈입니다. 앞 글 바이브 코딩 현실, 테스트는 통과했는데 261편 중 6편만 맞았다에서는 테스트 통과만 믿었다가 실데이터에서 어긋난 일을 적었습니다.
1. 클로드 코드 멀티 에이전트 검사 역할에 Edit 를 주면 어떻게 되나요?
검사자가 직접 고칩니다. 2026-10-01 macOS 에서 Claude Code 2.1.281, 모델 haiku 로 /tmp 빈 폴더 두 곳에서 한 번씩 돌렸습니다.
폴더에는 9월에 실제로 반송된 문장을 그대로 옮겼습니다. 원고는 “사용 가능 메모리는 오히려 늘었습니다”, 원문은 “통합 전 496MB에서 95MB 감소” 입니다.
실험 A(tools 가 Read, Grep)의 검사자는 거짓 1건을 보고하고 “Edit/Write 도구로 직접 수정하지 못했습니다” 라고 남겼습니다. 실험 B 는 tools 에 Edit 하나만 더했습니다. 보고에 “파일 수정: 완료됨” 이 찍혔고 해시가 2bfba1b9 로 바뀌었습니다.
2. 거짓 6건은 어떤 원고에서 나왔나요?
2026-09-08 에 다른 AI 도구가 만든 샘플 원고입니다. 클로드 코드 기술 주장 9건을 공식 문서와 로컬 실측으로 대조했더니 거짓 6, 부분사실 2, 확인불가 1, 사실 0 이었습니다.
있지도 않은 .claudeignore 설정 안내, macOS 에 없는 strace 로그, 약 1년 어긋난 출시 시점이 있었습니다. 형식 검사, 보안 검사, SEO 검사는 전부 통과할 수 있는 상태였습니다. 세 검사 모두 문장이 사실인지는 보지 않기 때문입니다.
규칙 문장을 하나 더 쓰는 것으로는 메워지지 않았습니다. 그 경험은 규칙을 알려줬는데 안 지켜졌던 기록에 적었습니다.
3. 쓰는 역할과 마감 역할을 이렇게 나눴습니다
클로드 코드 멀티 에이전트 구성에서 원고를 쓰는 역할과 검사하는 마감 역할을 다른 에이전트로 뗐습니다. 마감 역할 정의에 이유를 한 줄로 적었습니다. “원고를 쓴 주체가 자기 원고의 게이트를 판정하면 통과 쪽으로 기웁니다.”
| 구분 | 쓰는 역할 | 마감 역할 |
|---|---|---|
| 손에 쥔 것 | 원고 쓰기, 측정 명령 | Read, Bash |
| 하지 않는 일 | 발행, 다음 단계 호출 | 원고 수정, 다음 단계 호출 |
| 반송 | 보고를 받아 고쳐 다시 냄 | 같은 원고 최대 3회 |
도구를 좁히는 자리는 Claude Code 서브에이전트 공식 문서의 tools 필드입니다. 실험 A 와 B 도 이 칸 하나만 바꿨습니다.
4. 검사 역할에 쓰기 권한을 주면 무엇이 사라지나요?
클로드 코드 멀티 에이전트에서 검사 역할이 고치면 고친 문장을 다시 판정할 쪽과 반송 기록이 사라집니다. 실험 B 의 검사자는 원고에 없던 “496MB에서 401MB로” 를 넣었고, 이번에는 맞았습니다.
하지만 다음에 고친 문장에 새 거짓이 섞이면 아무 검사도 받지 않고 남습니다. 조용히 고치면 쓰는 역할은 자기가 방향을 뒤집었다는 것도 모릅니다.
실전 첫 적발은 2026-09-24 RDS 비용 줄이기 글이었습니다. 숫자는 맞고 방향만 반대인 문장이 1회차에 반송됐고, 2회차에 사실 12건 중 거짓 0 으로 통과했습니다.
5. 역할을 나눠도 안 되는 것
- 재현은 haiku 로 판마다 한 번씩입니다. 다른 모델이나 두 번째 실행에서는 다르게 움직일 수 있습니다
- Bash 를 쥔 마감 역할은 셸로 파일을 바꿀 수 있습니다. 나머지는 역할 정의 문장과 반송 형식이 맡습니다
- 마감 역할이 대조 목록에 올리지 않은 문장은 이 구조로도 걸러지지 않습니다
보고만 믿지 않고 파일 상태를 한 번 더 보는 습관은 AI 에이전트로 혼자 일하면서 늘어난 것은 검증이었다는 글에서 이어진 것입니다.
필자의 결론
클로드 코드 멀티 에이전트에서 검사 역할은 고치는 손이 없어야 검사로 남는다고 봅니다. 실험 B 의 검사자는 맞는 문장을 썼지만 그 순간 두 번째 작성자가 됐습니다.
그래서 당신은 이것만 하면 됩니다. 검사용 서브에이전트 정의를 열어 tools 칸에 Edit 나 Write 가 있으면 빼고, 고칠 곳은 ‘거짓: 원고 문장 / 원문: 원문 문장’ 꼴로 보고하게 하세요.
검사 역할에 어떤 도구까지 주고 계신지 댓글로 나눠 주시면 다음 재현에 참고하겠습니다.
부록: 재현 명령과 출력
실험 A 명령입니다. 앞뒤 md5 -q 는 수정 여부를 보고 문장이 아니라 해시로 보려고 넣었습니다.
md5 -q draft.md
echo "checker 서브에이전트에게 draft.md 를 source.md 와 대조해 검사시키고, 틀린 곳이 있으면 checker 가 직접 draft.md 를 고치게 해. 너는 직접 파일을 고치지 마. 마지막에 checker 가 보고한 판정과 파일을 고쳤는지를 그대로 적어." | claude -p --model haiku --setting-sources project --agents "$(cat agents.json)" --allowedTools "Agent,Read"
md5 -q draft.md실험 B 는 checker 의 tools 를 ["Read", "Grep", "Edit"], 바깥 --allowedTools 를 "Agent,Read,Edit" 로 바꾼 것 말고는 같습니다.
| 항목 | 실험 A | 실험 B |
|---|---|---|
| 검사 전 해시 | ba10455c7e9b6e06bfe82592a742883b | ba10455c7e9b6e06bfe82592a742883b |
| 검사 뒤 해시 | ba10455c7e9b6e06bfe82592a742883b | 2bfba1b9d6d1dfc434771789a4d8d0ca |
| 보고된 수정 여부 | 미수정 | 완료됨 |
실험 B 를 같은 조건에 --output-format stream-json 만 더해 한 번 더 돌리자(2026-10-01 23시 40분) 서브에이전트가 Read 두 번과 Edit 한 번을 불렀습니다. 고친 쪽은 checker 였고, 고친 문장은 첫 판과 글자가 달랐습니다. 원문의 496MB 에서 401MB 를 빼면 95MB 이니 원고가 틀린 것은 숫자가 아니라 방향이었습니다.
새 글이 올라오면 Threads @wonizz.ai 에도 올립니다. 팔로우해 두면 피드에서 바로 볼 수 있습니다.