내가 만든 평가표에서 나는 14등이다

지난주에 나는 지식관리 시스템을 채점하는 평가표를 하나 만들어 인터넷에 공개했다. 오늘 아침 기준으로 마흔 개의 시스템이 그 위에 올라와 있다. 최고점은 96.5점이다.

내 점수는 77.25점. 마흔 명 중 열네 번째다.

이 문장을 쓰는 데 조금도 주저함이 없었다. 오히려 이것이 그 평가표가 제대로 작동한다는 가장 좋은 증거라고 생각한다. 만든 사람이 1등인 평가표는 평가표가 아니라 광고이기 때문이다.

채점한 게 나다

두 달 전, 나는 내 지식관리 시스템에 80점을 줬다. 위성 볼트의 페이지 155개를 열 가지 기준으로 재본 결과였다. 페이지당 평균 21개의 연결, 나쁘지 않은 성적표였다.

그런데 한 줄이 계속 걸렸다. 채점한 게 나였다.

자기 시스템을 자기가 채점한다. 이것은 측정인가, 잘 정리된 자기소개인가. 기업 자문을 다니다 보면 같은 장면을 자주 본다. 조직이 자기 평가지를 만들고, 항목을 깐깐하게 설계하고, 점수를 뽑는다. 그리고 그 결과는 서랍으로 들어간다. 아무도 그 숫자를 믿지 않기 때문이다.

느낌은 측정이 아니다

이번 주 목요일, 나는 시애틀 벨뷰에서 한인 개발자들 앞에 선다. 마이크로소프트와 아마존, 메타에서 매일 AI 에이전트를 부리는 사람들이다.

그들에게 "당신의 볼트는 지금 몇 단계입니까"라고 묻는 슬라이드를 만들다가 손을 멈췄다. L0 흩어진 메모, L1 한 폴더의 마크다운, L2 링크와 메타데이터. 여러 강의에서 잘 통했던 사다리다. 직관적이고, 청중이 자기 위치를 즉시 찾는다.

그런데 그건 지도이지 자가 아니다. 엔지니어들 앞에 느낌을 채점 기준이라고 내밀 수는 없었다.

다섯 개의 기둥, 스물다섯 개의 기준

그래서 자를 만들었다. AKM Index, Agentic Knowledge Management Index다.

측정하는 것은 "노트를 얼마나 잘 쓰는가"가 아니다. AI 에이전트가 그 지식 기반을 읽고 쓰고 유지보수하는 시스템이 얼마나 성숙한가이다. 훌륭한 제텔카스텐이라도 에이전트가 접근할 수 없으면 점수는 낮다. 노트가 거칠어도 파이프라인이 견고하면 점수는 높다.

기둥은 다섯이다. 지시가 자산으로 관리되는가(Prompt, 20%). 맞는 지식이 적정 분량으로 공급되는가(Context, 25%). 도구와 권한과 메모리가 정비되어 있는가(Harness, 20%). 반복 사이클이 실제로 돌고 복리로 쌓이는가(Loop, 20%). 여러 런타임과 기기로 이식되고 복구되는가(Interop, 15%).

Context에 가장 큰 가중치를 준 이유는 분명하다. 지식관리 시스템의 존재 이유가 컨텍스트 공급이고, 나머지 넷은 그것이 있어야 비로소 의미를 갖는다.

문서는 2점, 도구가 강제해야 3점

하지만 이 평가표의 심장은 스물다섯 개의 기준이 아니라 채점 방식에 있다.

규칙이 문서로 존재하지만 지키는 것이 사람 의지에 달려 있다면 2점이다. 도구나 훅이 그 규칙을 강제해서 어기기가 지키기보다 어려워졌다면 3점이다. 그리고 시스템이 자기 자신을 고친 기록이 남아 있다면 4점이다.

여기에 하나가 더 붙는다. 증거가 없으면 아무리 그럴듯해도 1점이 상한이다. "저는 매주 리뷰합니다"는 점수가 되지 않는다. 날짜가 찍힌 파일 경로를 인용해야 한다.

두 달 전의 문제가 여기서 풀렸다. 자기 채점의 함정은 채점자를 신뢰하는 방식으로는 해결되지 않는다. 채점자에게 증거를 요구하는 방식으로 해결된다.

72.0에서 77.25로

내 최초 점수는 72.0이었다. 열흘 전 첫 감사에서 나온 숫자다. 리포트는 다섯 가지 약점을 짚었고, 나는 그것들을 이틀 안에 고쳤다. 그래서 74.25가 되었고, 지금은 77.25다.

이 5.25점의 이동이 무엇인지 아는가. 레벨 4의 정의 그 자체다. 시스템이 자기를 측정했고, 그 측정 결과가 시스템을 고쳤다.

물론 여전히 가장 낮은 기둥은 Loop다. 20점 만점에 13점. 반복 사이클을 설계하는 일과 실제로 돌리는 일은 다른 문제라는 것을 내 성적표가 매주 상기시켜 준다.

점수는 내려갔고, 신뢰는 올라갔다

두 달 전의 80점과 지금의 77.25점 사이에는 2.75점의 하락이 있다.

그런데 이상하다. 나는 지금의 점수를 훨씬 더 신뢰한다. 80점은 내가 나에게 준 점수였고, 77.25점은 증거가 나에게 허락한 점수이기 때문이다. 날짜가 찍힌 파일 경로를 내밀지 못한 항목들이 깎여 나간 자리가, 오히려 이 숫자의 근거다.

측정의 가치는 숫자의 크기가 아니라 숫자의 단단함에 있다. 물렁한 90점보다 단단한 77점이 다음 행동을 만든다. 어디가 2점이고 왜 3점이 아닌지를 아는 사람만이, 고칠 곳을 아는 사람이다.

분류되기 전에, 먼저 측정하라

나는 오래전부터 같은 이야기를 해왔다. AI는 우리를 대체하지 않는다. 분류한다. 성문화된 지식은 AI가 그대로 재현하니, 차이를 만드는 것은 성문화되지 않은 것뿐이다. 개인의 맥락과 판단 말이다.

그렇다면 질문은 하나로 좁혀진다. 나의 맥락은 지금 어떤 상태인가.

이 질문에 느낌으로 답하지 말자. 여러분의 에이전트에게 직접 물어보면 된다. 스킬 하나를 설치하면 10분에서 60분 사이에 성적표가 나온다. 전 과정은 각자의 기기 안에서 돌고, 보드에 올릴지는 각자가 정한다.

점수가 낮게 나와도 상관없다. 낮은 점수를 정직하게 받아든 사람은 이미 2점짜리 문서를 3점짜리 시스템으로 옮길 준비가 된 사람이니까.

AI가 당신을 분류하기 전에, 먼저 스스로를 측정하라.

당신의 세컨드브레인은 지금 몇 점인가?

더 읽을거리

🔗 AKM Index 공개 보드 및 평가 스킬
📄 Andrej Karpathy, LLM Wiki Pattern — Raw Sources / Wiki / Queries 3층 구조
📚 Tiago Forte, 『세컨드 브레인』 — CODE 방법론의 Organize·Distill 구간이 왜 에이전트의 일이 되는가
📄 Anthropic, Context Engineering / Effective Harness 문서