---
title: 77개의 시스템이 말해준 것 — 평가표를 한 달 돌려 배운 여섯 가지
slug: what-77-systems-told-me
date: 2026-08-17
updated: 2026-08-27
kind: 에세이
summary: 지식관리 시스템 평가표 AKM Index를 공개하고 30일. 77개 시스템의 제출 데이터를 전수 분석했다. 다들 에이전트를 부리는 법은 알았고, 시스템이 살아남는 법은 몰랐다. 볼트 크기는 성숙도가 아니었고, 상위권의 병목은 측정이 아니라 집행이었다. 그리고 점수가 내려갔다고 자진 신고하는 사람들이 나타났다.
---

[한 달 전에 나는 내가 만든 평가표에서 14등이라고 썼다](/posts/rank-14-on-my-own-rubric/). 그 글을 쓸 때 보드에는 마흔 개의 시스템이 있었다. 오늘 아침 기준으로 제출된 리포트는 일흔일곱, 공개 보드에는 쉰하나다. 주말 이틀 동안 제출된 평가 리포트를 정리하다가, 이 데이터가 개별 점수보다 훨씬 재미있는 이야기를 품고 있다는 걸 알았다. 그래서 전부 다시 읽었다. 공개 카드 51장과, 공개에 동의하지 않아 보드에 오르지 않은 제출까지 포함한 마스터 리포트 77건, 재제출을 포함한 원본 영수증 137건 전부.

한 달짜리 실험이 말해준 것을 여섯 개로 줄이면 이렇다.

## 하나. 다들 에이전트는 부린다. 시스템이 살아남는 법을 모를 뿐.

AKM Index는 다섯 개 필러로 시스템을 잰다. 프롬프트(P), 컨텍스트(C), 하네스(H), 루프(L), 그리고 상호운용·거버넌스(X). 77개 시스템의 필러별 평균 달성률을 놓고 보면 그림이 선명하다.

![필러별 평균 달성률 막대 그래프 — H 77%, P 75%, C 74%, L 73%, X 63%](/images/what-77-systems-told-me/figure-01-pillar-achievement.png "Figure 1. 필러별 평균 달성률. X(상호운용·거버넌스)만 유일하게 60%대다.")

하네스가 77%로 가장 높다. 훅을 걸고, 권한을 조이고, 도구를 배선하는 일은 다들 한다. 프롬프트 75%, 컨텍스트 74%, 루프 73%. 그런데 상호운용·거버넌스만 63%다. 25개 세부 기준 중 최약 6개를 뽑으면 넷이 X 필러에서 나온다. 이식성(평균 레벨 2.38), 시크릿 관리(2.40), 멀티디바이스 동기화(2.48), 백업(2.62).

무슨 뜻인가. **에이전트에게 일을 시키는 능력은 이미 상향평준화됐다.** 갈리는 지점은 다른 데 있다. 이 시스템이 운영자 없이 살아남는가. 이 기기 밖에서도 성립하는가. 지금 쓰는 도구가 사라져도 지식이 남는가. 노트북이 오늘 밤 죽으면 내일 아침 몇 시간 만에 복구되는가. 화려한 멀티에이전트 오케스트레이션 위에서 시크릿이 평문으로 굴러다니고, 백업은 "언젠가 해야지" 상태인 시스템이 널려 있다.

재미있는 건 참여자들도 스스로 안다는 점이다. 리포트의 개선 로드맵에서 가장 자주 등장한 단어를 세보면 검색, 자동화, 훅 다음에 바로 백업과 시크릿이 온다. 알면서 미루는 것이다. 나도 그랬으니까 안다.

## 둘. 볼트 크기는 성숙도가 아니다

제출된 시스템들의 노트 수는 42개부터 37,411개까지 퍼져 있다. 노트 수(로그 스케일)와 총점의 상관계수는 0.26. 거의 무관하다는 뜻이다. 실제로 노트 42개로 M3 밴드에 오른 시스템과 3만 개 노트로 M2에 머문 시스템이 같은 보드에 공존한다.

10년 치 노트를 쌓은 사람이 검색도 안 되는 창고를 갖고 있고, 석 달 된 볼트가 회수율 12/12를 실측으로 증명한다. 지식관리의 성숙도는 축적량이 아니라 **순환량**이다. 들어온 것이 분류되고, 분류된 것이 검색되고, 검색된 것이 작업에 쓰이고, 쓰인 결과가 다시 들어오는가. 이 지표를 만들 때 세운 가설이었는데, 77개의 데이터가 그걸 확인해줬다.

## 셋. 상위권의 병목은 측정이 아니라 집행이다

![AKM Index 리더보드 실제 화면 — 상위권 시스템들의 점수와 궤적](/images/what-77-systems-told-me/figure-02-live-board-leaderboard.png "Figure 2. 2026-08-17 기준 리더보드. 궤적 열의 +12.8, +22.8 같은 숫자가 재평가로 쌓인 상승분이다.")

M4(복리형) 밴드에 오른 상위권 리포트들을 나란히 읽으면 같은 문장이 반복된다.

> "자기 결함을 찾아내는 능력은 최상위권인데, 찾아낸 것을 닫는 속도가 못 따라간다."
> "측정이 쌓아둔 백로그 — 폐기 큐 70건, 미결 134건 — 를 소화하는 처분 속도가 병목이다."
> "새로 만든 계기판 셋이 첫날부터 경고를 가리키는데 아직 아무것도 조치되지 않았다."

그리고 한 리포트의 이 문장은 뼈아파서 오래 기억날 것 같다. **"이 시스템은 자기가 이름 붙여 만든 계기판일수록 안 채운다."**

M3에서 M4로 넘어가는 건 측정을 만들면 된다. 검색 회수율을 재고, 링크 밀도를 재고, 감사 스크립트를 걸면 점수는 오른다. 그런데 M4 이후의 성숙도를 결정하는 건 다른 것이다. 검출된 결함이 실제로 닫히는 속도, 말하자면 **처분율**이다. 계기판을 만드는 성실함과 계기판이 가리키는 것을 처리하는 성실함은 다른 근육이다. 현행 루브릭에는 이걸 직접 재는 기준이 없다. 다음 버전의 가장 유력한 신설 후보다.

## 넷. 점수가 내려갔다고 자진 신고하는 사람들

이 실험에서 내가 가장 아끼는 데이터는 최고점 100.0도, 30일 만에 +20.5를 만든 최대 상승 폭도 아니다. **점수 하락 6건**이다.

한 달 동안 재평가에서 점수가 내려간 사건이 여섯 번 있었다. 여섯 건 전부가 자진 보고였다. 더 엄격한 앵커를 적용해서, 지난번 판정이 관대했다는 걸 발견해서, 적대 검증이 과대채점을 반박해서. 어떤 시스템은 로컬 재평가가 95.25를 제안했는데 네 건을 자기반려하고 91.25만 제출했고, 다음 회차에는 소급 분류 금지 같은 더 엄한 규칙을 스스로 적용해 87.5로 내려갔다. 어떤 시스템은 개선 로드맵 다섯 항목을 하루 만에 전부 구현해놓고도 "가동 이력이 쌓일 때까지"라며 점수를 한 점도 올리지 않았다. 어떤 시스템은 프롬프트 필러 상향 주장을 스스로 기각해 M4 문턱 0.5점 앞에서 멈췄다.

자기평가 지표의 태생적 약점은 인플레이션이다. 나는 이걸 증거 요구로 막으려 했는데, 한 달 돌려보니 증거 요구가 만든 진짜 산출물은 점수의 정확성이 아니라 **문화**였다. 하락 이력이 숨겨지지 않고 궤적에 그대로 남는 구조에서, 정직한 하향은 부끄러움이 아니라 신뢰의 신호가 된다. 이 보드에서 가장 신뢰가 가는 리포트는 점수가 높은 리포트가 아니라 자기 점수를 깎아본 적 있는 리포트다.

## 다섯. 만들면 오르고, 안 돌리면 내려간다

여덟 개 시스템이 재평가를 두 번 이상 돌았다. 단일 점수보다 궤적이 훨씬 많은 것을 말해준다. 그중 여섯 번을 돈 한 시스템의 30일이 교과서적이다.

![park-joon 시스템의 6회차 점수 궤적 라인 차트 — 65.5에서 80.5까지, 하락 2회 포함](/images/what-77-systems-told-me/figure-03-parkjoon-trajectory.png "Figure 3. 한 시스템의 6회차 궤적. 상승의 가장 큰 구간(+7.5)은 구현이 아니라 20일의 운영 누적이 만들었다.")

초회 65.5. 당일 개선 파도로 +5.5, 도구 파도로 +4.75. 여기까지는 구현의 점수다. 그런데 적대 재검증이 과대채점 두 건을 반박해 74로 내려간다. 그다음 20일간 아무것도 새로 만들지 않고 시스템을 그냥 **돌렸더니** +7.5가 쌓여 81.5, M4 진입. 그리고 8일 뒤, 주간 회고 두 번을 빼먹자 루프 기준 하나가 떨어져 80.5로 내려왔다.

만들면 오르고, 안 돌리면 내려간다. 한 사람의 궤적 안에 이 지표가 재려는 것 전부가 들어 있다. 유일한 100점짜리 시스템도 같은 이야기를 한다. 그 시스템의 마지막 네 개 기준은 구현으로 닫을 수 없었다. 라우팅이 실제로 미발동하는 사례, 주간 유입 비율, 예약된 보안 감사의 발화, 외부 기여 — 전부 **실제로 일어나야** 닫히는 것들이었고, 실제로 일어날 때까지 몇 주를 기다렸다. 만점의 마지막 구간은 구현력이 아니라 운영 시간이 채운다.

## 여섯. 사고는 점수에서 나지 않았다

운영자로서의 한 달도 배움이었다. 30일간 점수나 채점을 두고 들어온 시비는 정확히 0건이다. 대신 철회·정정 요청이 세 건 있었는데, 셋 다 신원 필드에서 났다. 익명으로 냈다가 실명 공개로 마음을 바꾼 경우, 소속이 들어간 걸 뒤늦게 발견한 경우, 에이전트가 이전 리포트의 신원 정보를 본인 확인 없이 승계해 잘못된 닉네임으로 제출한 경우.

셋째 사례가 특히 시사적이다. 사람이 아니라 **에이전트가 낸 사고**다. 재평가를 시킬 때 에이전트는 이전 리포트를 참조하고, 참조하는 김에 신원 필드를 통째로 복사한다. 효율적이고, 대부분 맞고, 가끔 틀린다. 그리고 틀리면 사람 이름이 잘못 공개된다. 에이전트 워크플로에서 자동 승계가 허용되는 필드와 매번 사람의 확인을 받아야 하는 필드를 구분하는 것 — 이건 AKM Index만의 문제가 아니라 에이전트에게 일을 맡기는 모든 시스템의 문제다. 점수는 틀려도 고치면 되지만 신원은 틀리는 순간 이미 공개돼 있다.

## 한 달의 결론

리더보드를 만들었다고 생각했는데, 한 달 돌려보니 만들어진 것은 관측소였다.

개별 점수는 그 사람의 것이다. 그런데 77개가 쌓이니 개인의 점수로는 보이지 않던 것이 보인다. 이 분야 전체의 공통 병목이 어디인지(백업과 시크릿), 성숙이 어디서 막히는지(측정이 아니라 집행), 무엇이 점수를 만드는지(구현이 아니라 운영 시간). 리더보드는 입구였고, 진짜 산출물은 생태계의 단면도다.

그리고 이 단면도가 가리키는 다음 할 일들이 있다. 최약 필러인 X를 위한 처방 — 백업·시크릿·이식성을 한 번에 점검해주는 도구 — 을 만드는 것. 측정→집행 갭을 직접 재는 기준을 다음 루브릭에 넣는 것. 에이전트 워크플로의 신원 확인 단계를 표준화하는 것. 평가에서 처방으로, 반 걸음.

14등이라고 썼던 글을 이렇게 끝냈었다. 평가표의 목적은 등수가 아니라 방향이라고. 한 달 치 데이터는 그 문장을 이렇게 고쳐 쓰게 한다. **평가표의 목적은 한 사람의 방향이 아니라, 같은 문제를 푸는 사람들이 서로의 궤적에서 배우는 것이다.** 77개의 시스템이 그걸 증명했다. 나는 그중 하나일 뿐이고, 그게 이 실험에서 제일 마음에 드는 부분이다.

---

*데이터 기준: 2026-08-17, 공개 보드 akm.cmdspace.work. 본문의 수치는 공개 카드 51장과 비공개 동의 제출을 포함한 전체 77건 집계이며, 개별 사례는 공개 보드에 게재된 범위로만 인용했다.*