---
title: 내가 만든 평가표에서 나는 14등이다
slug: rank-14-on-my-own-rubric
date: 2026-07-26
kind: 에세이
summary: 지식관리 시스템을 채점하는 평가표 AKM Index를 만들어 공개했다. 만든 사람이 1등인 평가표는 평가표가 아니라 광고다. 자기 채점의 함정은 채점자를 신뢰하는 방식이 아니라, 채점자에게 증거를 요구하는 방식으로 해결된다.
updated: 2026-08-17
---
![노트 위에 놓인 황동 자 — 내가 만든 평가표](/images/rank-14-on-my-own-rubric/hero-rank-14-on-my-own-rubric.jpg)

지난주에 나는 지식관리 시스템을 채점하는 평가표를 하나 만들어 인터넷에 공개했다. 오늘 아침 기준으로 마흔 개의 시스템이 그 위에 올라와 있다. 최고점은 96.5점이다.

내 점수는 77.25점. **마흔 명 중 열네 번째다.**

이 문장을 쓰는 데 조금도 주저함이 없었다. 오히려 이것이 그 평가표가 제대로 작동한다는 가장 좋은 증거라고 생각한다. 만든 사람이 1등인 평가표는 평가표가 아니라 광고이기 때문이다.

## 채점한 게 나다

두 달 전, 나는 내 지식관리 시스템에 80점을 줬다. 위성 볼트의 페이지 155개를 열 가지 기준으로 재본 결과였다. 페이지당 평균 21개의 연결, 나쁘지 않은 성적표였다.

그런데 한 줄이 계속 걸렸다. 채점한 게 나였다.

자기 시스템을 자기가 채점한다. 이것은 측정인가, 잘 정리된 자기소개인가. 기업 자문을 다니다 보면 같은 장면을 자주 본다. 조직이 자기 평가지를 만들고, 항목을 깐깐하게 설계하고, 점수를 뽑는다. 그리고 그 결과는 서랍으로 들어간다. 아무도 그 숫자를 믿지 않기 때문이다.

## 느낌은 측정이 아니다

이번 주 목요일, 나는 시애틀 벨뷰에서 한인 개발자들 앞에 선다. 마이크로소프트와 아마존, 메타에서 매일 AI 에이전트를 부리는 사람들이다.

그들에게 "당신의 볼트는 지금 몇 단계입니까"라고 묻는 슬라이드를 만들다가 손을 멈췄다. L0 흩어진 메모, L1 한 폴더의 마크다운, L2 링크와 메타데이터. 여러 강의에서 잘 통했던 사다리다. 직관적이고, 청중이 자기 위치를 즉시 찾는다.

그런데 그건 지도이지 자가 아니다. 엔지니어들 앞에 느낌을 채점 기준이라고 내밀 수는 없었다.

## 다섯 개의 기둥, 스물다섯 개의 기준

그래서 자를 만들었다. AKM Index, Agentic Knowledge Management Index다.

측정하는 것은 "노트를 얼마나 잘 쓰는가"가 아니다. **AI 에이전트가 그 지식 기반을 읽고 쓰고 유지보수하는 시스템이 얼마나 성숙한가**이다. 훌륭한 제텔카스텐이라도 에이전트가 접근할 수 없으면 점수는 낮다. 노트가 거칠어도 파이프라인이 견고하면 점수는 높다.

기둥은 다섯이다. 지시가 자산으로 관리되는가(Prompt, 20%). 맞는 지식이 적정 분량으로 공급되는가(Context, 25%). 도구와 권한과 메모리가 정비되어 있는가(Harness, 20%). 반복 사이클이 실제로 돌고 복리로 쌓이는가(Loop, 20%). 여러 런타임과 기기로 이식되고 복구되는가(Interop, 15%).

Context에 가장 큰 가중치를 준 이유는 분명하다. 지식관리 시스템의 존재 이유가 컨텍스트 공급이고, 나머지 넷은 그것이 있어야 비로소 의미를 갖는다.

## 문서는 2점, 도구가 강제해야 3점

하지만 이 평가표의 심장은 스물다섯 개의 기준이 아니라 채점 방식에 있다.

규칙이 문서로 존재하지만 지키는 것이 사람 의지에 달려 있다면 2점이다. 도구나 훅이 그 규칙을 강제해서 어기기가 지키기보다 어려워졌다면 3점이다. 그리고 시스템이 자기 자신을 고친 기록이 남아 있다면 4점이다.

여기에 하나가 더 붙는다. **증거가 없으면 아무리 그럴듯해도 1점이 상한이다.** "저는 매주 리뷰합니다"는 점수가 되지 않는다. 날짜가 찍힌 파일 경로를 인용해야 한다.

두 달 전의 문제가 여기서 풀렸다. 자기 채점의 함정은 채점자를 신뢰하는 방식으로는 해결되지 않는다. 채점자에게 증거를 요구하는 방식으로 해결된다.

## 72.0에서 77.25로

내 최초 점수는 72.0이었다. 열흘 전 첫 감사에서 나온 숫자다. 리포트는 다섯 가지 약점을 짚었고, 나는 그것들을 이틀 안에 고쳤다. 그래서 74.25가 되었고, 지금은 77.25다.

이 5.25점의 이동이 무엇인지 아는가. 레벨 4의 정의 그 자체다. 시스템이 자기를 측정했고, 그 측정 결과가 시스템을 고쳤다.

물론 여전히 가장 낮은 기둥은 Loop다. 20점 만점에 13점. 반복 사이클을 설계하는 일과 실제로 돌리는 일은 다른 문제라는 것을 내 성적표가 매주 상기시켜 준다.

## 점수는 내려갔고, 신뢰는 올라갔다

두 달 전의 80점과 지금의 77.25점 사이에는 2.75점의 하락이 있다.

그런데 이상하다. 나는 지금의 점수를 훨씬 더 신뢰한다. 80점은 내가 나에게 준 점수였고, 77.25점은 증거가 나에게 허락한 점수이기 때문이다. 날짜가 찍힌 파일 경로를 내밀지 못한 항목들이 깎여 나간 자리가, 오히려 이 숫자의 근거다.

측정의 가치는 숫자의 크기가 아니라 숫자의 단단함에 있다. 물렁한 90점보다 단단한 77점이 다음 행동을 만든다. 어디가 2점이고 왜 3점이 아닌지를 아는 사람만이, 고칠 곳을 아는 사람이다.

## 분류되기 전에, 먼저 측정하라

나는 오래전부터 같은 이야기를 해왔다. AI는 우리를 대체하지 않는다. **분류한다.** 성문화된 지식은 AI가 그대로 재현하니, 차이를 만드는 것은 성문화되지 않은 것뿐이다. 개인의 맥락과 판단 말이다.

그렇다면 질문은 하나로 좁혀진다. 나의 맥락은 지금 어떤 상태인가.

이 질문에 느낌으로 답하지 말자. 여러분의 에이전트에게 직접 물어보면 된다. 스킬 하나를 설치하면 10분에서 60분 사이에 성적표가 나온다. 전 과정은 각자의 기기 안에서 돌고, 보드에 올릴지는 각자가 정한다.

점수가 낮게 나와도 상관없다. 낮은 점수를 정직하게 받아든 사람은 이미 2점짜리 문서를 3점짜리 시스템으로 옮길 준비가 된 사람이니까.

AI가 당신을 분류하기 전에, 먼저 스스로를 측정하라.

당신의 세컨드브레인은 지금 몇 점인가?

---

### 더 읽을거리

- 🔗 [AKM Index 공개 보드 및 평가 스킬](https://akm.cmdspace.work)
- 📄 Andrej Karpathy, LLM Wiki Pattern — Raw Sources / Wiki / Queries 3층 구조
- 📚 Tiago Forte, 『세컨드 브레인』 — CODE 방법론의 Organize·Distill 구간이 왜 에이전트의 일이 되는가
- 📄 Anthropic, Context Engineering / Effective Harness 문서