에이전트가 올린 5만 5천 줄 PR — Notion 엔지니어가 말한 “진짜 병목은 리뷰가 아니다” — AgentOS

한 줄 요약

Notion 엔지니어가 AI 에이전트 시대에 「정확성 확인」은 에이전트에 넘겨도 「이해」는 넘길 수 없다고 주장하며, 변경 설명 문서(explain diff)·통과 못 하면 리뷰 요청을 안 보내는 퀴즈·이해 전용 마이크로월드 세 가지를 실물로 보여준다.

영상 메타

URL: https://youtu.be/81EIe6h7mnw
채널: AgentOS
길이: 14분 42초
업로드: 2026-08-04
조회수: 271 / 좋아요 20
시청일: 2026-08-04 KST (🪽 헤르메스가 자막 추출 후 요약)
자막 비고: 영어 자동자막만 확보됐고 한국어 내레이션 구간은 트랙에 Foreign speech 로 비어 있다. 아래 발췌는 전부 영어 발화 구간 기준이다.

픽업

정확성 확인에서 사람의 몫은 줄고 있고 발화자는 그걸 싫어하지 않는다고 말한다 — 올바른 검증 루프만 주면 에이전트가 틀린 걸 들고 오지 않고 맞게 해온다. 문제는 사람들이 거기서 「그럼 이해할 필요도 없다, 루프 밖으로 나가라」로 넘어가는 지점이다.
이해해야 하는 진짜 이유는 검사가 아니라 참여다. 루프에 들어가 리뷰하면 사람이 바뀌어 나오고, 그 이해가 다음 루프의 아이디어 토대가 된다. 머릿속에 개념 구조가 풍부해야 남에게 묻지 않고 빠르게 재조합해 창의적 도약을 할 수 있다는 것.
그가 매일 쓰는 explain diff 스킬은 변경 설명 문서를 만드는데 순서가 핵심이다. 「이번에 뭐가 바뀌었나」로 시작하지 않고 배경(쓰는 게임 엔진·좌표계·서브시스템)부터 가르쳐 이해할 준비를 시킨 뒤에야 코드로 간다 — 좋은 수학 교사가 하는 방식이라고 말한다.
코드는 파일 목록 나열이 아니라 literate code diff 로 낸다. 각 파일 앞에 산문 설명을 붙이고 읽을 순서를 정해준다. 그는 이걸 출력해 카페에 들고 가 교과서처럼 읽는다며, AI 덕에 IDE 앞에 붙어 있던 작업이 오히려 종이로 나왔다고 말한다.
읽었다고 이해한 게 아니다. 동료의 가장 기초적인 질문에 답을 못 하고 스스로를 속였다는 걸 깨달은 뒤, 문서 맨 아래 5문항 중간난도 퀴즈를 붙였다. 규칙은 그 퀴즈를 통과하지 못하면 팀에 리뷰 요청을 보내지 않는다. 그는 이걸 「속도 조절기」라 부른다 — 정확성의 속도만이 아니라 이해의 속도도 맞추기 위한 장치.
마이크로월드 — 에이전트에게 「고칠 코드」가 아니라 「이해용 도구」를 짜게 한다. 프롤로그 인터프리터 내부 상태를 단계별로 스크럽하는 디버거 UI, 웹사이트 프레임워크 이관을 버튼으로 직접 진행하는 게임 등. 요점은 배포할 소프트웨어가 아니라 그 하나를 이해하기 위한 시뮬레이션이고, 버그를 고치면서 기계에 대한 감각(peripheral vision)이 같이 붙는다는 것.
코드가 공짜가 됐으니 일회용 UI·시뮬레이션·디버거로 개념을 이해하자는 흐름은 새 발상이 아니라 앨런 케이가 50년 전 에세이에서 이미 세운 목표라고 말한다 — 요점은 컴퓨터나 로봇이 아니라 사람이 바뀌는 것이고, 지금이 그 비전으로 돌아갈 때라는 낙관.

용어

explain diff [워크플로우 · 문화]: 변경 하나를 배경 → 요지 → 인터랙티브 그림 → literate diff → 퀴즈 순으로 설명하는 문서를 생성하는 스킬.
literate code diff [워크플로우 · 문화]: 파일을 순서 없이 나열하는 대신 각 파일 앞에 산문 설명을 붙이고 읽는 순서를 정해 주는 디프 형식.
micro world [하니스 · 패턴]: 배포용 소프트웨어가 아니라 한 개념·한 시스템을 이해하려고 그때그때 만드는 전용 시뮬레이션·디버거.
ephemeral UI [하니스 · 패턴]: 오래 유지할 목적이 아니라 한 번 이해하고 버리기 위해 즉석에서 만드는 인터페이스.
verification loop [하니스 · 패턴]: 에이전트 산출물을 자동으로 검증해 되돌려 주는 순환 — 이게 제대로 서면 사람의 정확성 확인 몫이 줄어든다.
spaced repetition quiz [지식 · 컨텍스트 자산]: 간격을 두고 반복 출제해 기억이 남았는지 검사하는 퀴즈. 글에 심으면 이해 없이 통과할 수 없게 된다.
Mathland [워크플로우 · 문화]: 시모어 페퍼트의 개념. 아이가 프랑스에 살며 프랑스어를 배우듯, 수학이 모국어인 땅에 살면 수학을 직관으로 배운다는 비유.
turtle [기타]: 아이가 프로그래밍해 그림을 그리게 하는 로봇. 목적은 로봇이 아니라 그 과정에서 아이가 수학을 익히는 것.
HTML blocks (Notion) [도구 통신 (MCP · CLI · API)]: 노션 페이지 안에 에이전트가 인터랙티브 시뮬레이션을 직접 심을 수 있게 한 기능.