Section 1.10.32 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt. Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur? Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur?"

1914 translation by H. Rackham
"But I must explain to you how all this mistaken idea of denouncing pleasure and praising pain was born and I will give you a complete account of the system, and expound the actual teachings of the great explorer of the truth, the master-builder of human happiness. No one rejects, dislikes, or avoids pleasure itself, because it is pleasure, but because those who do not know how to pursue pleasure rationally encounter consequences that are extremely painful. Nor again is there anyone who loves or pursues or desires to obtain pain of itself, because it is pain, but because occasionally circumstances occur in which toil and pain can procure him some great pleasure. To take a trivial example, which of us ever undertakes laborious physical exercise, except to obtain some advantage from it? But who has any right to find fault with a man who chooses to enjoy a pleasure that has no annoying consequences, or one who avoids a pain that produces no resultant pleasure?"

Section 1.10.33 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"At vero eos et accusamus et iusto odio dignissimos ducimus qui blanditiis praesentium voluptatum deleniti atque corrupti quos dolores et quas molestias excepturi sint occaecati cupiditate non provident, similique sunt in culpa qui officia deserunt mollitia animi, id est laborum et dolorum fuga. Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere possimus, omnis voluptas assumenda est, omnis dolor repellendus. Temporibus autem quibusdam et aut officiis debitis aut rerum necessitatibus saepe eveniet ut et voluptates repudiandae sint et molestiae non recusandae. Itaque earum rerum hic tenetur a sapiente delectus, ut aut reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat."

1914 translation by H. Rackham
"On the other hand, we denounce with righteous indignation and dislike men who are so beguiled and demoralized by the charms of pleasure of the moment, so blinded by desire, that they cannot foresee the pain and trouble that are bound to ensue; and equal blame belongs to those who fail in their duty through weakness of will, which is the same as saying through shrinking from toil and pain. These cases are perfectly simple and easy to distinguish. In a free hour, when our power of choice is untrammelled and when nothing prevents our being able to do what we like best, every pleasure is to be welcomed and every pain avoided. But in certain circumstances and owing to the claims of duty or the obligations of business it will frequently occur that pleasures have to be repudiated and annoyances accepted. The wise man therefore always holds in these matters to this principle of selection: he rejects pleasures to secure other greater pleasures, or else he endures pains to avoid worse pains."

안녕하세요. 정리하는 개발자 워니즈입니다.

AI 도구를 도입하고 나면 누군가는 반드시 묻습니다. “그래서 얼마나 빨라졌어요?”

저도 답하기 어려웠습니다. 분명 코드는 빨리 나오는데 일이 끝나는 속도는 크게 달라지지 않았거든요. 그동안은 감각의 문제라고 생각했습니다.

그런데 최근에 숫자 하나를 보고 이유를 알았습니다.

개발자가 코드 작성에 쓰는 시간은 전체의 14%다.

, 2025년 Microsoft 엔지니어 450명 이상 조사

AI 코딩 생산성을 코딩 속도로 재고 있었으니 답이 안 나온 겁니다. 전체의 14%를 재고 있었으니까요.

그러면 본격적으로 정리해보도록 하겠습니다.

1. 왜 답이 안 나오는가, 산술이 안 맞습니다

코드 작성이 전체의 14%라면, 나머지 86%는 원래부터 코딩이 아니었습니다.

설계를 고민하고, 남의 코드를 읽고, 왜 안 되는지 찾고, 리뷰를 기다리고, 회의하고, 배포를 지켜보는 시간입니다.

여기서 계산이 나옵니다.

코딩 속도를 두 배로 올려도 전체는 7% 줄어듭니다.

7%는 하루 8시간 중 30분입니다. 회의 하나 길어지면 사라지는 양이죠. 측정에 안 잡히는 게 당연합니다.

같은 자료에 좋은 근무일의 코딩 시간이 18%, 나쁜 근무일이 11%라는 수치도 있습니다. 하루가 잘 풀리든 안 풀리든 코드를 치는 시간은 원래 그 정도입니다.

2. 그럼 무엇을 재야 하는가

리뷰 대기 시간입니다.

AI 채택도가 높은 팀을 조사한 결과가 이 방향을 가리킵니다.

그리고 이 숫자가 핵심입니다. AI가 작성한 PR은 리뷰어가 집어들기까지 사람이 쓴 것보다 평균 4.6배 오래 기다립니다.

만드는 14%가 빨라지면 그 뒤에 줄이 생깁니다. 속도가 사라진 게 아니라 다음 단계로 옮겨간 것이고, 코딩 시간만 재면 이 이동이 보이지 않습니다.

생각해보면 당연합니다. PR이 2.5배 커졌는데 리뷰할 사람 수는 그대로입니다. 만드는 쪽만 빨라지면 그다음 단계에 줄이 생깁니다.

AI 도입 효과를 코딩 시간으로 재면 이 이동이 통계에 잡히지 않습니다. 코딩 시간은 줄었고 리뷰 대기는 늘었는데, 둘을 따로 보면 “빨라졌다”만 남습니다.

이 얘기는 AI 코딩 도구, 빨라진 건 맞는데 어디가 느려졌을까에서 더 다뤘습니다.

3. 제 경우에도 그랬습니다

에이전트를 여러 개 굴리면서 산출물은 확실히 늘었습니다. 문서 초안, 스크립트, 조사 자료가 동시에 만들어집니다.

그런데 늘어난 만큼 읽어야 했습니다. 혼자 짰다면 짜는 동안 검증이 끝나 있는데, 받은 것은 읽고 판단해야 합니다. 그 부담이 전부 한 사람에게 몰렸습니다. (AI 에이전트로 혼자 일하기)

하네스를 절반 걷어낸 것도 같은 이유였습니다. 코딩을 더 돕는 도구를 추가하는 것보다, 판단과 검증 쪽 부담을 줄이는 게 실제로 남았습니다.

세 경우 모두 14%가 아니라 86% 쪽에서 일이 벌어지고 있었습니다.

공통점이 하나 있습니다. 문제가 생긴 곳은 전부 “만든 뒤”였습니다. 만드는 과정은 순조로웠고, 그 결과물을 읽고 판단하고 책임지는 단계에서 시간이 갔습니다.

4. AI 도입 효과, 이렇게 재기로 했습니다

AI 도입 효과를 물을 때 저는 이제 코딩 시간을 묻지 않습니다. 대신 이 셋을 봅니다.

세 지표 모두 코딩 속도와 무관하게 움직입니다. 그리고 도구를 바꿨을 때 실제로 값이 변합니다.

반대로 “AI가 코드를 몇 줄 썼는가”는 재봐야 소용없습니다. 줄 수가 늘어난 만큼 읽을 것도 늘어나니까요.

한 가지 덧붙이면, 이 지표들은 도입 전에 먼저 재둬야 의미가 있습니다. 도입 후에 재면 비교 대상이 없어 “느낌”으로 판단하게 됩니다. AI 도입 효과를 두고 논쟁이 갈리는 이유가 대개 여기 있습니다. 양쪽 다 기준선이 없습니다.

5. AI 코딩 생산성, 정리

• 코드 작성은 개발 시간의 14%다. 좋은 날 18%, 나쁜 날 11%
• 그 14%를 2배 빠르게 해도 전체는 7%만 줄어든다. 하루 30분이라 측정에 안 잡힌다
• 속도는 사라진 게 아니라 리뷰로 이동했다. 리뷰 시간 91%↑, PR 크기 154%↑
• 그래서 재야 할 것은 코딩 시간이 아니라 리뷰 대기 시간, PR 크기, 재작업 횟수다
• “AI가 개인을 10배 개발자로 만든다”는 기대는 애초에 산술이 안 맞는다

당장 해보실 수 있는 것 하나를 남기겠습니다. 최근 PR 다섯 개를 열어 이것만 확인해보세요.

올린 시각과 첫 리뷰가 달린 시각의 차이

여기가 코딩 시간보다 길다면, AI 도구를 더 붙여도 체감은 달라지지 않습니다. 줄여야 할 곳은 그쪽입니다.

읽어주셔서 감사합니다. 팀에서 어떤 지표를 보고 계신지 궁금합니다.

참고

• 소프트웨어 엔지니어링과 생성형 AI에 관한 8가지 오해 (GeekNews)
• Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity (arXiv)

The post [DevOps] AI 도입 효과, 코딩 속도를 재면 답이 안 나옵니다 appeared first on WONIZZ.LOG.

Section 1.10.32 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt. Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur? Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur?"

1914 translation by H. Rackham
"But I must explain to you how all this mistaken idea of denouncing pleasure and praising pain was born and I will give you a complete account of the system, and expound the actual teachings of the great explorer of the truth, the master-builder of human happiness. No one rejects, dislikes, or avoids pleasure itself, because it is pleasure, but because those who do not know how to pursue pleasure rationally encounter consequences that are extremely painful. Nor again is there anyone who loves or pursues or desires to obtain pain of itself, because it is pain, but because occasionally circumstances occur in which toil and pain can procure him some great pleasure. To take a trivial example, which of us ever undertakes laborious physical exercise, except to obtain some advantage from it? But who has any right to find fault with a man who chooses to enjoy a pleasure that has no annoying consequences, or one who avoids a pain that produces no resultant pleasure?"

Section 1.10.33 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"At vero eos et accusamus et iusto odio dignissimos ducimus qui blanditiis praesentium voluptatum deleniti atque corrupti quos dolores et quas molestias excepturi sint occaecati cupiditate non provident, similique sunt in culpa qui officia deserunt mollitia animi, id est laborum et dolorum fuga. Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere possimus, omnis voluptas assumenda est, omnis dolor repellendus. Temporibus autem quibusdam et aut officiis debitis aut rerum necessitatibus saepe eveniet ut et voluptates repudiandae sint et molestiae non recusandae. Itaque earum rerum hic tenetur a sapiente delectus, ut aut reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat."

1914 translation by H. Rackham
"On the other hand, we denounce with righteous indignation and dislike men who are so beguiled and demoralized by the charms of pleasure of the moment, so blinded by desire, that they cannot foresee the pain and trouble that are bound to ensue; and equal blame belongs to those who fail in their duty through weakness of will, which is the same as saying through shrinking from toil and pain. These cases are perfectly simple and easy to distinguish. In a free hour, when our power of choice is untrammelled and when nothing prevents our being able to do what we like best, every pleasure is to be welcomed and every pain avoided. But in certain circumstances and owing to the claims of duty or the obligations of business it will frequently occur that pleasures have to be repudiated and annoyances accepted. The wise man therefore always holds in these matters to this principle of selection: he rejects pleasures to secure other greater pleasures, or else he endures pains to avoid worse pains."

안녕하세요. 정리하는 개발자 워니즈입니다.

요즘 기술 피드에 같은 이야기가 반복해서 올라옵니다.

• AI 에이전트가 인력을 대체하면서 1~2명으로 운영되는 초소형 스타트업이 급증한다
• 생성형 AI로 연 매출 100만 달러를 올리는 1인 기업이 늘고 있다
• 직원 0명으로 연 수십억을 버는 사례들

AI 에이전트로 혼자 일하기가 가능해졌다는 겁니다. 코드 작성, 디버깅, 고객 응대까지 AI가 처리하니 창업 문턱이 낮아졌다는 분석이죠.

저도 비슷하게 씁니다. 판단은 제가 하고 구현은 여러 에이전트에게 나눠 맡기는 구조입니다. 사실상 혼자서 팀을 흉내 내는 셈입니다.

그런데 6개월 굴려보니 늘어난 게 생각과 달랐습니다.

그러면 본격적으로 정리해보도록 하겠습니다.

1. AI 에이전트로 혼자 일하기, 산출물은 확실히 늘어납니다

이건 사실입니다. 에이전트를 병렬로 돌리면 혼자서는 못 할 양이 나옵니다.

문서 초안, 스크립트, 조사 자료가 동시에 만들어집니다. 예전이라면 순서대로 했을 일이 겹쳐서 진행됩니다.

여기까지는 트렌드 기사들이 말하는 그대로입니다.

2. 그런데 그만큼 검증이 늘어납니다

문제는 만들어진 것을 전부 확인해야 한다는 점입니다.

혼자 짰다면 짜는 과정에서 이미 검증이 끝나 있습니다. 남이 짠 것은 읽고 판단해야 합니다. 에이전트가 만든 것도 마찬가지입니다.

그리고 이 부담은 한 사람에게 전부 몰립니다. 팀이라면 리뷰가 분산되지만, 1인 기업에는 리뷰어가 자기 자신뿐입니다.

실제 조사에서도 같은 구조가 보입니다. 개발자의 96%가 AI 생성 코드를 완전히 신뢰하지 못한다고 답했는데, 커밋 전 항상 검증한다는 비율은 48%였습니다. 믿지 않으면서 확인도 못 하는 구간이 생깁니다.

이 얘기는 AI 코딩 도구, 빨라진 건 맞는데 어디가 느려졌을까에서 더 자세히 다뤘습니다.

3. 검증에도 실력이 듭니다

더 곤란한 건 검증 자체가 틀릴 수 있다는 점입니다.

얼마 전 에이전트가 “기존 스캐너에 특정 패턴이 없다”고 보고했습니다. 저는 의심하고 grep으로 확인했고, 14건이 나오길래 “틀렸네”라고 판단했습니다.

실제로 열어보니 그 14건은 전부 패턴의 이름이었습니다. 탐지 규칙은 하나도 없었습니다. 에이전트가 맞았고 제가 틀렸습니다.

검증을 안 한 게 아니라 잘못한 것입니다. 그리고 이걸 잡아줄 사람이 1인 구조에는 없습니다.

팀에서는 이런 오판이 리뷰 과정에서 걸러집니다. 다른 사람이 같은 코드를 다른 각도로 보기 때문입니다. 혼자일 때는 내가 틀렸다는 걸 알려줄 장치를 스스로 만들어야 합니다.

그래서 저는 검증을 사람의 판단에만 맡기지 않는 쪽으로 바꿨습니다. 빠뜨리면 되돌릴 수 없는 것들 — 보안 검사, 발행 전 점검 같은 것들은 스크립트로 강제합니다. 기억에 의존하는 방식은 언젠가 반드시 실패하기 때문입니다.

4. 위임 자체에도 비용이 있습니다

산출물이 늘어난 만큼 시간이 절약되지도 않습니다. 위임하면 없던 비용이 생깁니다.

세 번째를 실제로 겪었습니다. 스크립트 두 개를 한 에이전트에 묶어 맡겼는데 중간에 중단됐고, 브리프 쓴 시간만 남고 결과물은 0이었습니다. 쪼개서 맡겼다면 하나는 건졌을 겁니다.

관련해서 AI 에이전트 권한 설계 — ‘되돌릴 수 있다’는 착각도 같은 맥락입니다.

5. 그럼 1인 기업 얘기는 허구인가

아닙니다. AI 에이전트로 혼자 일하기는 실제로 가능합니다. 다만 바뀌는 지점이 다릅니다.

기사들은 “AI가 인력을 대체한다”고 말하는데, 실제로 대체되는 건 실행 인력입니다. 코드를 치고 문서를 쓰는 부분이죠.

대체되지 않는 건 이쪽입니다.

• 무엇을 만들지 정하는 것 — 에이전트는 방향을 못 정합니다
• 결과가 맞는지 판단하는 것 — 그리고 이건 오히려 늘어납니다
• 책임을 지는 것 — 잘못 나갔을 때 수습하는 사람

한 가지 덧붙이면, 1인 기업 사례로 자주 인용되는 사람들도 실은 판단을 아주 좁게 가져갑니다. 만들 것을 적게 정하고, 검증할 것을 명확히 하고, 나머지를 도구에 넘깁니다. 도구가 좋아져서 혼자가 된 게 아니라 범위를 줄였기 때문에 혼자가 가능해진 쪽에 가깝습니다.

그래서 1인 기업이 가능해진 건 맞지만, 그 1인이 하는 일은 “덜 일하는 것”이 아니라 “검증과 판단만 하는 것”에 가깝습니다. 성격이 완전히 다른 노동입니다.

6. AI 에이전트로 혼자 일하기 — 정리

• 산출물은 확실히 늘어난다. 병렬로 돌리면 혼자서는 못 할 양이 나온다
• 그런데 검증 부담이 같이 늘고, 그게 한 사람에게 전부 몰린다
• 검증도 틀릴 수 있다. 그리고 1인 구조에는 그걸 잡아줄 사람이 없다
• 위임에는 브리프·검증·복구라는 없던 비용이 생긴다
• 대체되는 건 실행 인력이지 판단과 책임이 아니다

당장 해보실 수 있는 것 하나를 남기겠습니다. 다음에 에이전트에게 일을 맡기기 전에 이걸 정해두세요.

“결과가 맞는지 어떻게 확인할 것인가?”

테스트 통과 여부로 끝난다면 맡겨도 좋습니다. 읽어서 판단해야 한다면, 읽는 시간이 직접 하는 시간과 크게 다르지 않습니다.

읽어주셔서 감사합니다. 혼자 일하면서 검증을 어떻게 하고 계신지 궁금합니다.

참고

• AI로 창업 지형도 지각변동 — AI와 극소수 인원이 이끄는 ‘초소형 스타트업’ 대세 (조선일보)
• AI 활용 100만 달러 이상 매출 1인 기업 급증 (뉴시스)

The post [DevOps] AI 에이전트로 혼자 일하기, 늘어난 건 산출물이 아니라 검증이었습니다 appeared first on WONIZZ.LOG.

Section 1.10.32 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt. Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur? Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur?"

1914 translation by H. Rackham
"But I must explain to you how all this mistaken idea of denouncing pleasure and praising pain was born and I will give you a complete account of the system, and expound the actual teachings of the great explorer of the truth, the master-builder of human happiness. No one rejects, dislikes, or avoids pleasure itself, because it is pleasure, but because those who do not know how to pursue pleasure rationally encounter consequences that are extremely painful. Nor again is there anyone who loves or pursues or desires to obtain pain of itself, because it is pain, but because occasionally circumstances occur in which toil and pain can procure him some great pleasure. To take a trivial example, which of us ever undertakes laborious physical exercise, except to obtain some advantage from it? But who has any right to find fault with a man who chooses to enjoy a pleasure that has no annoying consequences, or one who avoids a pain that produces no resultant pleasure?"

Section 1.10.33 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"At vero eos et accusamus et iusto odio dignissimos ducimus qui blanditiis praesentium voluptatum deleniti atque corrupti quos dolores et quas molestias excepturi sint occaecati cupiditate non provident, similique sunt in culpa qui officia deserunt mollitia animi, id est laborum et dolorum fuga. Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere possimus, omnis voluptas assumenda est, omnis dolor repellendus. Temporibus autem quibusdam et aut officiis debitis aut rerum necessitatibus saepe eveniet ut et voluptates repudiandae sint et molestiae non recusandae. Itaque earum rerum hic tenetur a sapiente delectus, ut aut reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat."

1914 translation by H. Rackham
"On the other hand, we denounce with righteous indignation and dislike men who are so beguiled and demoralized by the charms of pleasure of the moment, so blinded by desire, that they cannot foresee the pain and trouble that are bound to ensue; and equal blame belongs to those who fail in their duty through weakness of will, which is the same as saying through shrinking from toil and pain. These cases are perfectly simple and easy to distinguish. In a free hour, when our power of choice is untrammelled and when nothing prevents our being able to do what we like best, every pleasure is to be welcomed and every pain avoided. But in certain circumstances and owing to the claims of duty or the obligations of business it will frequently occur that pleasures have to be repudiated and annoyances accepted. The wise man therefore always holds in these matters to this principle of selection: he rejects pleasures to secure other greater pleasures, or else he endures pains to avoid worse pains."

안녕하세요. 정리하는 개발자 워니즈입니다.

요즘 AI 코딩 하네스를 두고 정반대 이야기가 동시에 나옵니다.

한쪽은 걷어내라고 합니다. 모델이 충분히 좋아졌으니 복잡한 하네스는 맥락만 오염시키고, 유지보수 부채에 디버깅까지 어렵게 만든다는 겁니다. 다른 쪽은 하네스는 필연적으로 낡으니 리팩토링하라고 합니다.

둘 다 일리가 있어서 판단이 어려웠습니다. 저는 6개월째 하네스를 굴리고 있고, 그동안 실제로 절반 가까이 걷어냈습니다. 무엇을 버렸고 무엇을 남겼는지, 그 기준이 무엇이었는지 적어보려 합니다.

그러면 본격적으로 정리해보도록 하겠습니다.

1. AI 코딩 하네스는 왜 무거워지는가

처음엔 다들 비슷하게 시작합니다. 반복되는 지시를 파일로 빼고, 자주 쓰는 절차를 명령으로 만들고, 실수한 것을 규칙으로 적습니다.

문제는 추가는 쉽고 제거는 어렵다는 점입니다.

• 규칙은 한 번 사고가 나면 추가되지만, 사고가 안 나면 지울 이유가 없습니다
• 명령어는 만들 때 비용이 들었으니 아까워서 못 지웁니다
• “혹시 나중에 쓸지도”가 쌓입니다

그렇게 제 하네스는 스킬 109개까지 늘었습니다.

2. 걷어낸 것 — 숫자로 보면 명확했습니다

정리하고 나서야 비용이 보였습니다.

여기서 중요한 건 절감량 자체가 아니라 그게 고정 비용이었다는 사실입니다.

스킬 설명문은 매 세션 컨텍스트에 통째로 들어갑니다. 한 번도 안 쓰는 스킬이라도 존재하는 것만으로 매번 값을 치릅니다. 43개를 지우고 나서야 그동안 무엇을 내고 있었는지 알았습니다.

그래서 규칙을 하나 만들었습니다.

생성 30일 경과 + 최근 60일 호출 0회 = 아카이브 후보

3. 그런데 이 규칙에 함정이 있었습니다

호출 이력만으로 판정하면 멀쩡한 걸 지웁니다.

• 다른 스킬이 내부에서 불러 쓰는 것 — 로그에 안 남습니다
• 문서에서 경로로만 참조하는 것
• 핸드오프 체인 중간에 있는 것

그리고 장애 대응용이나 연간 1회짜리는 호출 0이 정상입니다. 이런 건 따로 표시해 면제했습니다.

즉 “안 쓰니까 지운다”가 아니라 “안 쓰는지 확인하고 지운다”로 한 단계를 더 뒀습니다.

4. 남긴 것 — 걷어내면 안 되는 세 가지

절반을 지우면서 오히려 분명해진 게 있습니다. AI 코딩 하네스에서 이건 남겨야 합니다.

첫째, 사고가 재발하는 규칙. 한 번 크게 데인 것은 규칙으로 박아둬야 합니다. 모델이 좋아져도 같은 실수를 합니다. 제 경우 “작업 결과를 보고만 믿지 말고 상태를 직접 확인한다”가 그렇습니다.

둘째, 판단 기준. “언제 맡기고 언제 직접 하는가” 같은 것은 매번 새로 생각하면 흔들립니다. 이건 프롬프트가 아니라 의사결정 비용을 줄이는 장치입니다.

셋째, 검증 게이트. 발행 전 보안 검사처럼 빠뜨리면 되돌릴 수 없는 것은 자동화해서 강제해야 합니다. 사람이 기억하는 방식은 언젠가 실패합니다.

반대로 걷어내기 좋은 건 “하는 방법”을 적어둔 것들이었습니다. 모델이 이미 아는 걸 굳이 설명하고 있던 문서가 많았습니다.

5. AI 코딩 하네스, 어느 쪽이 맞나

처음의 두 주장으로 돌아가면 제 답은 이렇습니다.

“걷어내라”는 절반 맞습니다. 방법을 설명하는 문서, 모델이 이미 잘하는 영역을 통제하려는 규칙은 부채가 맞습니다. 모델이 좋아질수록 더 그렇습니다.

“리팩토링하라”도 절반 맞습니다. 다만 리팩토링의 대상은 규칙 자체가 아니라 “이 규칙이 여전히 필요한 이유”입니다. 이유가 사라졌으면 지우고, 남아 있으면 유지합니다.

그래서 제 기준은 이겁니다.

6. 정리

• AI 코딩 하네스는 추가는 쉽고 제거는 어려워서 필연적으로 무거워진다
• 안 쓰는 것도 고정 비용을 낸다. 설명문이 매 세션 컨텍스트에 들어가기 때문
• 실측: 스킬 109개 → 66개, 세션당 5,813 토큰 절감
• 다만 호출 이력만으로 판정하면 멀쩡한 걸 지운다. 경유 호출·문서 참조·연간 작업은 로그에 안 남는다
• 남길 것은 셋뿐이다 — 사고 재발 방지 / 판단 기준 / 되돌릴 수 없는 것의 게이트
• 지울 것은 “하는 방법”을 적어둔 문서다. 모델이 이미 안다

당장 해보실 수 있는 것 하나를 남기겠습니다. 지금 쓰는 하네스에서 규칙을 하나 골라 이렇게 물어보세요.

“이 규칙은 어떤 사고 때문에 생겼는가?”

답이 안 나오면 지워도 되는 규칙입니다. 답이 나오는데 그 사고가 이제 안 일어난다면, 그것도 지울 때가 된 겁니다.

AI 에이전트에게 어디까지 맡길지는 권한 문제이기도 합니다. 그 얘기는 AI 에이전트 권한 설계 — ‘되돌릴 수 있다’는 착각에 정리했습니다.

읽어주셔서 감사합니다. 하네스를 어떻게 정리하고 계신지, 남기신 규칙은 무엇인지 궁금합니다.

참고

• 아직도 하네스 쓰세요? 다른 사람들은 이미 움직입니다 (메이커 에반)
• 잘 만든 하네스도 금방 낡는 이유 — 하네스 리팩토링과 루프 엔지니어링 (개발동생)

The post [DevOps] AI 코딩 하네스, 6개월 굴리고 절반을 걷어냈습니다 appeared first on WONIZZ.LOG.

Section 1.10.32 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt. Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur? Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur?"

1914 translation by H. Rackham
"But I must explain to you how all this mistaken idea of denouncing pleasure and praising pain was born and I will give you a complete account of the system, and expound the actual teachings of the great explorer of the truth, the master-builder of human happiness. No one rejects, dislikes, or avoids pleasure itself, because it is pleasure, but because those who do not know how to pursue pleasure rationally encounter consequences that are extremely painful. Nor again is there anyone who loves or pursues or desires to obtain pain of itself, because it is pain, but because occasionally circumstances occur in which toil and pain can procure him some great pleasure. To take a trivial example, which of us ever undertakes laborious physical exercise, except to obtain some advantage from it? But who has any right to find fault with a man who chooses to enjoy a pleasure that has no annoying consequences, or one who avoids a pain that produces no resultant pleasure?"

Section 1.10.33 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"At vero eos et accusamus et iusto odio dignissimos ducimus qui blanditiis praesentium voluptatum deleniti atque corrupti quos dolores et quas molestias excepturi sint occaecati cupiditate non provident, similique sunt in culpa qui officia deserunt mollitia animi, id est laborum et dolorum fuga. Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere possimus, omnis voluptas assumenda est, omnis dolor repellendus. Temporibus autem quibusdam et aut officiis debitis aut rerum necessitatibus saepe eveniet ut et voluptates repudiandae sint et molestiae non recusandae. Itaque earum rerum hic tenetur a sapiente delectus, ut aut reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat."

1914 translation by H. Rackham
"On the other hand, we denounce with righteous indignation and dislike men who are so beguiled and demoralized by the charms of pleasure of the moment, so blinded by desire, that they cannot foresee the pain and trouble that are bound to ensue; and equal blame belongs to those who fail in their duty through weakness of will, which is the same as saying through shrinking from toil and pain. These cases are perfectly simple and easy to distinguish. In a free hour, when our power of choice is untrammelled and when nothing prevents our being able to do what we like best, every pleasure is to be welcomed and every pain avoided. But in certain circumstances and owing to the claims of duty or the obligations of business it will frequently occur that pleasures have to be repudiated and annoyances accepted. The wise man therefore always holds in these matters to this principle of selection: he rejects pleasures to secure other greater pleasures, or else he endures pains to avoid worse pains."

안녕하세요. 정리하는 개발자 워니즈입니다.

요즘 AI 코딩 도구 입문 콘텐츠가 부쩍 늘었습니다. 터미널을 모르는 사람도 시작할 수 있다는 가이드가 나오고, 실제로 진입장벽은 많이 낮아졌습니다.

저도 매일 씁니다. 그런데 최근에 관련 연구들을 찾아보다가 결과가 정면으로 엇갈리는 걸 발견했습니다. 그리고 그 이유를 따라가 보니, 제가 겪은 일들과 정확히 맞아떨어졌습니다.

그러면 본격적으로 정리해보도록 하겠습니다.

1. 같은 질문에 정반대 답이 나옵니다

먼저 긍정적인 쪽입니다.

• GitHub Copilot 대조 실험 — AI 사용 그룹이 작업을 55.8% 빨리 완료
• 맥킨지 — 코딩 작업을 최대 2배 빠르게 처리 가능

그런데 반대 결과도 있습니다.

• METR 2025 — AI 도구 사용이 허용됐을 때 문제 해결에 19% 더 오래 걸림
• 숙련 개발자 대상 연구 — AI 사용 시 오히려 18% 느려짐
• Uplevel 보고서 — PR 주기와 병합 수에서 유의미한 개선 없음

METR 결과가 특히 눈에 띕니다. 개발자 본인과 전문가의 예상을 모두 뒤집었기 때문입니다. 참가자들은 자기가 빨라졌다고 느꼈는데 실제로는 느려져 있었습니다.

2. 왜 갈리나 — 무엇을 쟀느냐의 차이

자세히 보면 두 진영이 다른 것을 재고 있습니다.

긍정적 수치들은 대체로 “코드를 만드는 시간”을 잽니다. 맥킨지 보고서도 단서를 달아뒀는데, 개발자가 까다롭다고 평가한 작업에서는 시간 절감이 10% 미만으로 줄었습니다.

즉 빨라지는 건 맞습니다. 쉬운 작업의 초안을 뽑는 속도가요. 그리고 그건 원래 병목이 아니었습니다.

3. 병목은 사라진 게 아니라 이동했습니다

AI 채택도가 높은 팀을 조사한 결과가 이 구조를 잘 보여줍니다.

Uplevel의 별도 조사에서는 Copilot 사용 시 버그가 41% 더 발생했다는 결과도 나왔습니다.

그리고 이 숫자가 상황을 압축합니다. AI가 작성한 PR은 리뷰어가 집어들기까지 사람이 쓴 것보다 평균 4.6배 오래 기다립니다.

생각해보면 당연합니다. PR이 2.5배 커졌는데 리뷰할 사람 수는 그대로니까요. 만드는 쪽만 빨라지면 그다음 단계에 줄이 생깁니다.

4. 가장 무서운 숫자는 따로 있습니다

한 보안 조사 결과입니다.

개발자의 96%가 AI 생성 코드가 기능적으로 완전히 옳다고 확신하지 못한다고 답했다.

그런데 커밋 전에 항상 검증한다고 답한 비율은 48%였다.

믿지 않는데 확인도 안 합니다. 이 48%포인트의 간극이 앞의 버그 증가율과 연결된다고 봅니다.

저도 자유롭지 않습니다. 얼마 전 작업을 AI에게 맡겼는데, 결과 보고에 “기존 스캐너에 특정 패턴이 없다”고 적혀 있었습니다. 저는 의심하고 grep으로 확인했고, 14건이 나오길래 “틀렸네”라고 판단했습니다.

그런데 실제로 파일을 열어보니 그 14건은 전부 패턴의 이름이었습니다. 실제 탐지 규칙은 하나도 없었습니다. AI가 맞았고 제가 틀렸습니다.

검증을 안 한 게 아니라 검증을 잘못한 것입니다. 그리고 이건 검증에도 시간과 실력이 든다는 뜻입니다.

5. 그래서 어디서 끊을 것인가

이 경험들을 정리하면서 저는 판단 기준을 이렇게 바꿨습니다. 작업 종류가 아니라 “검증 방식”으로 나눕니다.

세 번째가 핵심입니다. 위 사례에서 제가 틀린 이유가 grep 결과를 해석하는 맥락이 없었기 때문입니다. 기계적 확인은 했지만 판단이 빠졌던 거죠.

그리고 하나 더 — PR을 작게 유지하는 게 전보다 훨씬 중요해졌습니다. AI는 요청하면 큰 변경을 한 번에 만들어냅니다. 만들 때는 편한데, 리뷰 단계에서 그 비용을 그대로 치릅니다. 154%라는 숫자가 그겁니다.

6. AI 코딩 도구를 쓸 때 남는 질문

• 빨라지는 건 쉬운 작업의 초안 작성이고, 그건 원래 병목이 아니었다
• 병목은 사라지지 않고 리뷰로 이동했다 (리뷰 시간 91%↑, PR 크기 154%↑)
• 믿지 않으면서 확인도 안 하는 구간이 가장 위험하다 (96% vs 48%)
• 검증에도 실력이 든다. 확인했다고 맞는 게 아니다
• 작업이 아니라 검증 방식으로 나눈다. 기계적이면 맡기고, 판단이 필요하면 직접 한다

권한을 어디까지 줄지는 별개의 문제이기도 합니다. 그 얘기는 AI 에이전트 권한 설계 — ‘되돌릴 수 있다’는 착각에 따로 정리했습니다.

당장 해보실 수 있는 것 하나를 남기겠습니다. 다음 PR을 올리기 전에 이것만 확인해보세요.

“이 변경을 리뷰하는 사람은 몇 분을 써야 하는가?”

만드는 데 10분, 리뷰에 40분이 든다면 그건 빨라진 게 아닙니다. 비용을 옆으로 옮긴 것뿐입니다.

읽어주셔서 감사합니다. 팀에서 다르게 운영하고 계시다면 어떻게 나누셨는지 궁금합니다. 편하게 남겨주세요.

참고

• “AI 코딩 도구, 생산성 효과 거의 없다” — Uplevel 보고서 (CIO Korea)
• AI 코딩 툴 비교 2026 — 클로드코드·코덱스 실무 생산성 분석
• 2026년의 AI 코딩 도구: 생산성만으로는 충분하지 않다

The post [DevOps] AI 코딩 도구, 빨라진 건 맞는데 어디가 느려졌을까 appeared first on WONIZZ.LOG.

Section 1.10.32 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"Sed ut perspiciatis unde omnis iste natus error sit voluptatem accusantium doloremque laudantium, totam rem aperiam, eaque ipsa quae ab illo inventore veritatis et quasi architecto beatae vitae dicta sunt explicabo. Nemo enim ipsam voluptatem quia voluptas sit aspernatur aut odit aut fugit, sed quia consequuntur magni dolores eos qui ratione voluptatem sequi nesciunt. Neque porro quisquam est, qui dolorem ipsum quia dolor sit amet, consectetur, adipisci velit, sed quia non numquam eius modi tempora incidunt ut labore et dolore magnam aliquam quaerat voluptatem. Ut enim ad minima veniam, quis nostrum exercitationem ullam corporis suscipit laboriosam, nisi ut aliquid ex ea commodi consequatur? Quis autem vel eum iure reprehenderit qui in ea voluptate velit esse quam nihil molestiae consequatur, vel illum qui dolorem eum fugiat quo voluptas nulla pariatur?"

1914 translation by H. Rackham
"But I must explain to you how all this mistaken idea of denouncing pleasure and praising pain was born and I will give you a complete account of the system, and expound the actual teachings of the great explorer of the truth, the master-builder of human happiness. No one rejects, dislikes, or avoids pleasure itself, because it is pleasure, but because those who do not know how to pursue pleasure rationally encounter consequences that are extremely painful. Nor again is there anyone who loves or pursues or desires to obtain pain of itself, because it is pain, but because occasionally circumstances occur in which toil and pain can procure him some great pleasure. To take a trivial example, which of us ever undertakes laborious physical exercise, except to obtain some advantage from it? But who has any right to find fault with a man who chooses to enjoy a pleasure that has no annoying consequences, or one who avoids a pain that produces no resultant pleasure?"

Section 1.10.33 of "de Finibus Bonorum et Malorum", written by Cicero in 45 BC
"At vero eos et accusamus et iusto odio dignissimos ducimus qui blanditiis praesentium voluptatum deleniti atque corrupti quos dolores et quas molestias excepturi sint occaecati cupiditate non provident, similique sunt in culpa qui officia deserunt mollitia animi, id est laborum et dolorum fuga. Et harum quidem rerum facilis est et expedita distinctio. Nam libero tempore, cum soluta nobis est eligendi optio cumque nihil impedit quo minus id quod maxime placeat facere possimus, omnis voluptas assumenda est, omnis dolor repellendus. Temporibus autem quibusdam et aut officiis debitis aut rerum necessitatibus saepe eveniet ut et voluptates repudiandae sint et molestiae non recusandae. Itaque earum rerum hic tenetur a sapiente delectus, ut aut reiciendis voluptatibus maiores alias consequatur aut perferendis doloribus asperiores repellat."

1914 translation by H. Rackham
"On the other hand, we denounce with righteous indignation and dislike men who are so beguiled and demoralized by the charms of pleasure of the moment, so blinded by desire, that they cannot foresee the pain and trouble that are bound to ensue; and equal blame belongs to those who fail in their duty through weakness of will, which is the same as saying through shrinking from toil and pain. These cases are perfectly simple and easy to distinguish. In a free hour, when our power of choice is untrammelled and when nothing prevents our being able to do what we like best, every pleasure is to be welcomed and every pain avoided. But in certain circumstances and owing to the claims of duty or the obligations of business it will frequently occur that pleasures have to be repudiated and annoyances accepted. The wise man therefore always holds in these matters to this principle of selection: he rejects pleasures to secure other greater pleasures, or else he endures pains to avoid worse pains."

목차

Part 1 — 채팅만으로 척척 해결하기

• Chapter 01. 누구나 5분 안에 시작하기
• Chapter 02. 프롬프트로 원하는 답 얻기
• Chapter 03. 이미지와 파일로 대화하기
• Chapter 04. 나노 바나나로 이미지 생성하기
• Chapter 05. Canvas로 웹 페이지 만들기
• Chapter 06. Deep Research로 자료 분석하기

Part 2 — 내 업무에 딱 맞게 연결하기

• Chapter 07. Gems로 맞춤 챗봇 만들기
• Chapter 08. Google Workspace로 문서 작업하기

Part 3 — Gemini로 AI 잘 활용하기

• Chapter 09. AI 검색으로 정보 찾기
• Chapter 10. NotebookLM으로 지식 정리하기

부록

• A1. Gemini와 Veo 3.1을 활용한 동영상 만들기
• A2. 모바일에서 Gemini 시작하기
• A3. 따라 하기만 해도 결과가 나오는 아이디어와 프롬프트 95가지

Part 1: 채팅만으로 척척 해결하기

Part 2: 내 업무에 딱 맞게 연결하기

Part 3: Gemini로 AI 잘 활용하기

총평

• Google Workspace를 이미 사용 중인 직장인 — 별도 도구 없이 기존 환경에서 바로 AI 활용 가능
• 마케터, 콘텐츠 크리에이터 — SNS 포스팅, 광고 카피, 카드뉴스 등 콘텐츠 제작 실습이 풍부
• AI를 처음 접하는 비개발자 — 코딩 지식 없이도 따라할 수 있는 단계적 구성
• 리서치 업무가 많은 기획자, PM — Deep Research와 NotebookLM 활용법이 실무에 즉시 적용 가능

함께 보면 좋은 글

• [서평 작성] 누구나 아는 나만 모르는 챗GPT
• [서평 작성] n8n이 다 해줌
• [서평 작성] 리더의 AI 노트
• [서평 작성] 조코딩의 바이브 코딩 1인 창업 with 클로드 코드, 수파베이스, 스트라이프

The post [서평 작성] 5분 제미나이 appeared first on WONIZZ.LOG.