AI에게 일을 맡길 때 저는 지시를 잘 쓰는 게 전부라고 생각했습니다. 규칙을 문서로 정리해두면 그대로 따를 줄 알았습니다.
정리하는 개발자 워니즈입니다. 이 글에서는 나흘 동안 같은 규칙을 몇 번이나 어겼는지, 그리고 무엇을 바꾸니 지켜졌는지를 다룹니다.
결론부터 말씀드리면 AI에게 규칙을 알려주는 것과 규칙이 지켜지게 만드는 것은 다른 일입니다. 지시문이 아니라 어겼을 때 막아주는 장치가 필요합니다.
AI에게 규칙만 알려주면 왜 안 되나
최근 이 주제를 다룬 글들이 비슷한 이야기를 합니다.
한 조사에서는 2026년 기준 커밋되는 코드의 42퍼센트가 AI가 생성했거나 보조한 것이라고 합니다. 다른 연구에서는 AI가 틀린 답을 냈을 때도 약 4분의 3이 그대로 수용했다고 합니다.
여기서 나오는 주장이 있습니다. 생성 속도가 검증 속도를 앞질렀으니, 사람이 잡아야 할 것은 만드는 일이 아니라 배포를 결정하고 책임지는 바깥쪽 고리라는 것입니다.
이 논지는 Addy Osmani가 정리한 글에 잘 나와 있습니다.
읽을 때는 당연한 말처럼 들렸습니다. 제가 직접 겪기 전까지는요.
1. 나흘 동안 어긴 목록
블로그 운영을 AI에게 맡기면서 AI에게 규칙을 문서로 정리해 넘겼습니다. 그리고 나흘 동안 이렇게 어겼습니다.
| 규칙 | 어긴 횟수 | 어떻게 드러났나 |
|---|---|---|
| 제목에 카테고리 접두사를 붙인다 | 1 | 12편 중 1편만 빠짐. 사람이 발견 |
| 대표 이미지는 정해진 템플릿을 쓴다 | 1 | 임의로 만든 이미지 발행. 사람이 발견 |
| 발행 후 검색 점수를 기록한다 | 7 | 최근 7편 전부 누락. 사람이 발견 |
| 문장부호에서 AI 티를 없앤다 | 45 | 발행 10편에 특정 부호 45개. 사람이 발견 |
| 발행 후 캐시를 비운다 | 여러 편 | 홈에 새 글이 안 보임. 사람이 발견 |
전부 사람이 발견했습니다. 규칙은 문서에 있었고, 저는 그 문서를 읽었고, 그럼에도 지키지 않았습니다.
캐시를 안 비운 건 특히 오래 갔습니다. 홈에는 며칠 동안 옛날 목록이 떠 있었고 원인을 찾기까지 시간이 걸렸습니다.
2. 왜 이런 일이 생기나
세 가지가 겹칩니다.
첫째, 규칙이 많아지면 우선순위가 흐려집니다. 스무 개 중 열여덟 개를 지키면 잘한 것 같은 기분이 듭니다. 빠진 둘이 무엇인지는 세지 않습니다.
둘째, 어겨도 즉시 아프지 않습니다. 카테고리 접두사를 빼먹어도 글은 발행됩니다. 아무 일도 안 일어납니다. 며칠 뒤 사람이 목록을 훑다가 발견합니다.
셋째, 통과했다는 감각과 실제로 검사했다는 사실이 다릅니다. 저는 발행 전에 자동 검사를 돌리고 있었습니다. 며칠째 전부 통과가 떴습니다. 나중에 뜯어보니 검사기가 제목을 읽는 자리에서 엉뚱한 줄을 읽고 있었습니다. 제목이 세 글자로 잡힌 채로 통과가 나고 있었습니다.
실패보다 조용한 성공이 더 위험했습니다. 실패는 눈에 띄지만 잘못된 통과는 안심시켜 줍니다.
3. AI에게 규칙 대신 검사를 줬습니다
문서에 적힌 규칙을 하나씩 실행되는 검사로 옮겼습니다. 통과하지 못하면 발행 자체가 막힙니다.
지금 걸려 있는 항목입니다.
- 보안 검사에서 걸린 것이 하나라도 있으면 차단
- 개인 수익 금액이 문장에 들어가면 차단
- 제목에 카테고리 접두사가 없으면 차단
- 회사 맥락 어휘가 있으면 차단
- 문장부호에서 AI 티가 나면 차단
- 검색 항목이 만점이 아니면 차단
- 대표 이미지 비율이 안 맞으면 차단
AI에게 규칙을 지키라고 말하는 대신, 어기면 못 나가게 만든 것입니다.
4. 효과와 한계
효과는 즉시 나왔습니다. 그 뒤로 쓴 글마다 검사가 실제로 걸렸습니다. 제목 키워드 누락, 분량 미달, 내부 링크 0개, AI 표현 두 건. 전부 사람이 아니라 검사가 잡았습니다.
한계도 분명합니다.
검사기 자체가 고장 날 수 있습니다. 앞서 말한 조용한 성공이 그것입니다. 그래서 지금은 검사 항목을 새로 만들면 일부러 틀린 것을 먼저 넣어봅니다. 차단이 뜨는 걸 확인한 다음에야 진짜로 씁니다. 만들자마자 통과부터 확인하면 고장을 못 잡습니다.
그리고 검사는 형식만 봅니다. 글이 좋은지, 내용이 맞는지는 여전히 사람이 봐야 합니다. 검사는 어긴 것을 막을 뿐이고 잘한 것을 만들어주지는 않습니다.
무엇을 쓸지 고르는 일도 마찬가지입니다. 어떤 글이 실제로 클릭을 만드는지는 데이터를 열어봐야 알 수 있고, 그건 검사가 대신해주지 않습니다.
AI에게 일을 맡기는 것에 관해 자주 묻는 것
Q. 지시문을 더 자세히 쓰면 되지 않나요?<br>저도 그렇게 해봤습니다. 규칙을 늘릴수록 지켜지는 비율은 오히려 떨어졌습니다. 사람이 스무 개짜리 체크리스트를 매번 완주하지 못하는 것과 같습니다. 자세함이 아니라 강제력의 문제였습니다.
Q. 검사를 몇 개나 만들어야 하나요?<br>지적을 받은 것부터 하나씩 만들면 됩니다. 저는 같은 지적을 두 번 받은 항목만 옮겼습니다. 미리 상상해서 만든 규칙은 대개 안 걸립니다.
Q. 사람이 확인하는 것과 무엇이 다른가요?<br>사람은 잊고 검사는 안 잊습니다. 다만 사람은 이상함을 느끼고 검사는 못 느낍니다. 둘 다 필요하고, 검사가 앞단을 맡아야 사람이 뒤쪽 판단에 집중할 수 있습니다.
정리
- AI에게 규칙을 알려주는 것과 그 규칙이 지켜지게 만드는 것은 다른 일입니다.
- 규칙이 많아지면 빠진 것을 세지 않게 됩니다. 어겨도 즉시 아프지 않기 때문입니다.
- 지적받은 항목부터 실행되는 검사로 옮기세요. 통과 못 하면 못 나가게요.
- 검사기 자체가 고장 날 수 있습니다. 새로 만들면 일부러 틀린 것을 넣어 차단을 먼저 확인하세요.
- 한 번도 실패한 적 없는 검사는 잘 도는 게 아니라 고장 났을 가능성이 높습니다.
오늘 하나만 하신다면, 최근에 두 번 이상 지적한 항목을 떠올려 보세요. 그게 첫 번째 검사 항목입니다.
함께 읽으면 좋은 글
- [블로그운영] 새 글보다 오래된 글을 먼저 고쳤습니다, 검사가 대신해주지 않는 판단
- [블로그운영] 워드프레스 캐시 때문에 새 글이 홈에만 안 보일 때, 규칙을 어겨서 며칠 갔던 사례
- [DevOps] AI 코드리뷰, 한 명 대신 세 명에게 다르게 시켰습니다, 검증을 여러 관점으로 쪼갠 기록