유튜브 수십 편을 넣었더니, AI가 정답과 원본 장면까지 찾아줍니다 (RAG 대신 LLM Wiki + Hermes) — 샘 호트만 : AI 엔지니어의 시선

한 줄 요약

벡터DB·임베딩 없이 마크다운 문서와 규칙서(schema.md) 하나로 유튜브 채널 전체를 검색 가능한 위키로 만들고, 답변에 원본 영상의 정확한 타임스탬프 링크까지 붙인 뒤 스킬·크론잡으로 매일 자동 적재까지 굳히는 과정을 처음부터 따라 보인다. 핵심 주장은 “위키가 검색이 안 되는 이유는 데이터가 부족해서가 아니라 규칙이 없어서”다.

영상 메타

URL: https://youtu.be/aI5nyQKhl9o
채널: 샘 호트만 : AI 엔지니어의 시선
길이: 33분 38초
업로드: 2026-08-02
조회수: 781 / 좋아요 88
시청일: 2026-08-02 KST (🪽 헤르메스 가 자막 추출 후 요약)

픽업

벡터DB도 임베딩도 안 쓴다. 마크다운 파일 몇 개와 규칙서 하나가 전부인데, 질문 하나를 던지면 답변과 함께 그 답이 나온 원본 영상의 몇 분 몇 초까지 링크로 붙어 해당 구간에 바로 도착한다.
다짜고짜 아키텍처를 설계하지 마라. 실제 데이터를 먼저 전부 끌어온 다음, “이 위키에 물어볼 법한 질문 후보”를 AI에게 역으로 뽑게 한다. 이 단계를 건너뛰면 스키마가 감으로 만들어진다.
schema.md 는 SKILL.md 와 개념이 다르다. SKILL.md 가 에이전트 업무 매뉴얼이라면 schema.md 는 “직원이 절대 어기면 안 되는 회사 규정이자 데이터 설계도”다. AI의 기억이 아니라 AI 기억을 관리하는 방법을 적는다.
처음 만든 schema.md 에는 도메인과 태그 분류 체계밖에 없었다. 그런데 “답변에 시작·끝 시간을 원본 링크와 같이 보여 달라”고 자연어 한 문장을 말했더니, 그 요구가 layer·claim block·query protocol 이라는 반복 가능한 규칙으로 스키마에 박혔다.
“위키가 검색이 안 되는 이유는 데이터가 부족해서가 아닙니다. 규칙이 없어서입니다.” 혼자 쓸 위키면 적당히 정하고 넘어가도 되지만, 팀·회사에서 쓸 위키라면 도메인과 분류 체계는 사내 합의를 거쳐라. 주식·시황처럼 시간에 따라 사실이 뒤집히는 도메인이면 스키마 설계에 시간을 더 써야 한다.
한 번 성공한 적재 과정을 skill-creator 로 스킬(youtube-wiki-ingest)로 굳혀 에이전트 프로필로 이관하고, 크론잡으로 매일 새벽 1시에 딱 한 개씩만 넣는다. 한 번에 30~40개씩 넣지 마라 — 하나씩 넣어야 틀렸을 때 어디서 틀렸는지 보인다.
답변에 붙어 나온 타임스탬프는 반드시 눌러서 그 구간에서 실제로 그 이야기를 하고 있는지 확인하라. 틀렸으면 schema.md 를 고쳐 달라고 하면 고쳐진다. 처음부터 완성된 스키마는 없다.

용어

LLM Wiki [지식 · 컨텍스트 자산]: 벡터DB 없이 마크다운 문서와 규칙서로 구성해 LLM이 직접 읽고 답하는 위키형 지식 저장소. 영상에서는 빌트인 스킬 형태로 제공된다고 설명한다.
schema.md [지식 · 컨텍스트 자산]: 위키가 가장 먼저 읽는 규칙서. 도메인·분류 체계·저장 규약을 담아 “AI 기억을 관리하는 방법”을 정의한다.
택소노미 (taxonomy) [지식 · 컨텍스트 자산]: 태그 분류 체계. 어떤 축으로 지식을 갈라 쌓을지 정하는 골격.
canonical / alias [지식 · 컨텍스트 자산]: 공식적으로 허용된 표준 태그(canonical)와 그 다른 표현(alias)을 사전 형태 표로 묶어 표기 흔들림을 흡수하는 장치.
claim block [지식 · 컨텍스트 자산]: 답변 근거가 되는 주장 단위 블록. 출처 영상 제목·비디오 ID·타임스탬프·원문 인용을 함께 묶는다.
query protocol [하니스 · 패턴]: 질문이 들어왔을 때 어떤 문서를 어떤 순서로 읽고 답할지 정한 절차 규약. 영상에서는 스킬 → 핸드오프 문서 → schema.md → 인덱스 순으로 읽힌다.
skill-creator [하니스 · 패턴]: 한 번 성공한 작업 과정을 에이전트가 반복 실행할 수 있는 스킬 문서로 굳혀주는 플러그인.
인제스트 (ingest) [워크플로우 · 문화]: 원본 자료에서 불필요한 인트로·아웃트로 등을 걷어내고 전처리해 위키에 적재하는 과정.
RAG [하니스 · 패턴]: 문서를 타임스탬프 단위로 쪼개 임베딩한 뒤 벡터DB에 넣고 검색해 LLM에 물려주는 방식. 이 영상은 그 대안 경로를 제시한다.
크론잡 (cron job) [빌링 · 운영]: 정해진 시각에 에이전트 작업을 자동 실행하는 예약. 영상에서는 매일 새벽 1시에 새 영상 1개만 적재하고 결과를 메신저 채널로 받는다.