안녕하세요. 정리하는 개발자 워니즈입니다.
며칠 전에 인터넷의 집단 기억이 사라지고 있다는 글을 읽었습니다. 링크는 매일 썩고, 사이트는 인수되면 아카이브째 지워지고, AI 요약이 중간에 끼면서 원본에 닿는 사람이 줄어든다는 이야기였습니다. FiveThirtyEight의 기록 대부분이 인수 후에 삭제됐고, 위키피디아 트래픽과 후원이 함께 줄고 있다는 사례가 나옵니다.
읽을 때는 남의 이야기라고 생각했습니다. 큰 매체와 공공 아카이브 얘기니까요. 그런데 그날 밤 제 블로그의 구글 색인 상태를 열어봤습니다.
이 글의 결론을 먼저 말씀드리겠습니다. 인터넷의 기억은 누가 지워서 사라지는 게 아닙니다. 아무도 오지 않아서 사라집니다. 제 글 91개는 삭제된 적이 없습니다. 지금도 주소를 치면 멀쩡히 열립니다. 다만 구글이 8년 동안 한 번도 방문하지 않았을 뿐입니다.
그래서 백업만으로는 부족합니다. “이 글이 사라지면 나는 며칠 뒤에 알게 되는가.” 이 질문에 답이 안 나오면, 이미 사라지고 있는데 모르고 있을 가능성이 높습니다.
그러면 본격적으로 정리해보도록 하겠습니다.
1. 구글 색인 현황을 처음 제대로 봤습니다
서치 콘솔의 색인 생성 보고서를 열었습니다. 숫자는 이랬습니다.
| 구분 | 페이지 수 |
|---|---|
| 색인 생성됨 | 179 |
| 색인 생성 안 됨 | 239 |
8년 가까이 쓴 213편에 카테고리와 아카이브 페이지를 더한 숫자입니다. 검색에 나오는 쪽보다 안 나오는 쪽이 많았습니다.
처음에는 절반 이상이 통째로 죽은 줄 알고 당황했습니다. 사유를 하나씩 열어보니 그건 아니었습니다.
2. 절반은 문제가 아니었습니다
미색인 239개 중 108개는 NOINDEX 태그로 제외됨이었습니다. 어떤 주소들인지 확인해봤습니다.
/2022/page/2/ 날짜 아카이브 페이지네이션
/2020/ 연도 아카이브
/2019/08/04/jenkins-pipeline/feed/ 개별 글 피드
/category/hobby/bowling/ 카테고리본문 글이 하나도 없었습니다. 전부 목록이나 피드입니다. 이런 페이지는 검색에 나올 이유가 없고, 나오면 오히려 본문과 경쟁합니다. noindex가 걸린 게 정상이었습니다.
여기서 하나 배웠습니다. 숫자가 크다고 다 문제는 아닙니다. 사유를 안 열어봤으면 108개를 살리겠다고 며칠을 썼을 겁니다.
3. 진짜 문제는 91개였습니다
발견됨 - 현재 색인이 생성되지 않음 항목에 91개가 있었습니다. 목록을 열었더니 최종 크롤링 날짜 칸이 전부 이렇게 찍혀 있었습니다.
https://blog.wonizz.com/2018/10/01/blog-setup-1/ 해당사항 없음
https://blog.wonizz.com/2018/10/08/linux-bashscript/ 해당사항 없음
https://blog.wonizz.com/2019/02/26/devops-assign/ 해당사항 없음해당사항 없음은 구글이 이 주소를 안다는 뜻입니다. 사이트맵에 있으니까요. 그런데 한 번도 가보지 않았습니다.
전부 2018년과 2019년 글입니다. 제가 처음 블로그를 시작하고 열심히 쓰던 시기의 글이 통째로 이 상태였습니다. 지워진 것도 아니고, 검색 순위가 낮은 것도 아닙니다. 아예 후보에 오른 적이 없습니다.
4. 크롤 예산은 엉뚱한 곳으로 샙니다
구글이 한 사이트에 쓰는 시간에는 한도가 있습니다. 그럼 제 블로그에 온 구글은 그 시간을 어디에 썼을까요. 404 목록에 답이 있었습니다.
/2019/09/06/aws-ecs/?share=twitter&nb=1 2026-07-25 크롤됨
/2021/07/20/prometheus-install-guide/?share=twitter 2026-06-01 크롤됨공유 버튼이 만드는 주소입니다. 열어보면 404가 나옵니다. 그런데도 구글은 이걸 꾸준히 방문하고 있었습니다. 존재하지 않는 페이지를 긁느라 8년 된 글에는 못 온 겁니다.
robots.txt에 두 줄을 넣어서 막았습니다.
Disallow: /*?share=
Disallow: /*&share=효과는 2~3주 뒤에 미색인 91개가 줄어드는지로 확인할 생각입니다. 지금 단정할 수는 없습니다.
5. 2024년에는 통째로 잃었습니다
사실 저는 이미 한 번 겪었습니다. 2024년 2월에 쓰던 무료 도메인 서비스가 중단되면서 6년치 색인과 백링크를 잃었습니다. 옛 도메인이 먼저 죽어버려서 리다이렉트를 걸 대상조차 없었습니다. 그때 상황은 블로그 장애 발생3 – 도메인 변경에 적어뒀습니다.
그때는 원인이 분명했습니다. 무료 서비스가 없어졌으니까요. 화는 났지만 이해는 됐습니다.
이번은 달랐습니다. 아무도 아무것도 하지 않았는데 91개가 조용히 없는 상태였습니다. 사고가 난 적이 없어서 알아차릴 계기도 없었습니다. 저는 8년 동안 몰랐습니다.
6. 사라지는 것보다 모르는 게 문제입니다
원문이 말한 링크 썩음은 큰 매체만의 일이 아니었습니다. 규모만 다를 뿐 개인 블로그에서 매일 일어나고 있었습니다.
그리고 저는 이걸 잡아낼 장치가 없었습니다. 글을 발행할 때 검사하는 절차는 만들어뒀는데, 발행하지 않는 날에는 아무것도 확인하지 않았습니다. 실제로 이번 달 초에는 사이트맵이 나흘 동안 멈춰 있었는데 그것도 나중에야 알았습니다.
7. 구글 색인 점검 요약
- 미색인 숫자가 크다고 다 문제는 아닙니다.
NOINDEX로 빠진 목록 페이지는 정상입니다. 사유를 먼저 나눠야 합니다 발견됨 - 색인 생성 안 됨에최종 크롤링: 해당사항 없음이면, 그 글은 구글이 한 번도 온 적이 없다는 뜻입니다- 크롤 예산은 공유 파라미터 같은 쓰레기 주소로 샙니다. robots.txt로 막으면 실제 글로 돌아갑니다
- 백업은 파일을 지켜줄 뿐 검색에서 사라지는 건 못 막습니다
- 점검 주기가 없으면 사고가 나도 모릅니다. 저는 사이트맵이 멈춘 걸 나흘 뒤에 알았습니다
당장 해보실 수 있는 것 하나를 남기겠습니다. 서치 콘솔에서 색인생성 → 페이지를 열고 사유별 숫자만 보세요. 3분이면 됩니다.
그리고 이 질문에 답해보시면 좋겠습니다.
“이 글이 오늘 사라지면, 나는 며칠 뒤에 알게 되는가.”
답이 “모르겠다”라면 저와 같은 상태입니다. 저는 매일 아침 도는 점검에 색인 확인을 넣는 것부터 하려고 합니다.
읽어주셔서 감사합니다. 비슷한 상태인 분이 계시면 어떻게 다루고 계신지 알려주시면 배우겠습니다.