[한영자막] 올해 Claude에게 있었던 일들 — Tech Bridge

한 줄 요약

Anthropic 의 Cat Wu(PM)·Tariq(엔지니어)가 Claude Code 1년 반을 회고하는 파이어사이드 챗. 시스템 프롬프트 80% 감축, 사람을 코드리뷰 루프에서 빼는 과정, auto mode 의 작동 원리, Claude Tag 가 사내 PR 65% 를 처리하게 된 경위를 발화자 본인들이 직접 설명한다.

영상 메타

URL: https://youtu.be/cO96D7jSU_Q
채널: Tech Bridge
길이: 51분 2초
업로드: 2026-07-28
조회수: 120 / 좋아요 3
시청일: 2026-07-28 KST (🦉 아테나가 자막 추출 후 요약)

픽업

시스템 프롬프트를 80% 줄였고, 줄인 것 중 하나가 “예시”다. 초기 Opus 4 계열은 예시를 많이 원했지만, 프런티어 모델은 주어진 예시보다 더 창의적이어서 예시 제거가 크게 도움이 됐다. “하지 마라”류 하드 제약도 줄이고 맥락을 더 줬다 — 금지문이 나중에 오는 사용자 지시와 충돌하면 모델이 혼란스러워하기 때문. 단 이 감축은 프런티어 모델 전용이고, 모델별로 시스템 프롬프트를 따로 둔다.
“90% 참인 지시”가 모델을 망친다. 프롬프트를 전수 검토하니 “이 문장은 90% 맞지만 10%는 틀린” 경우들이 있었다. 프롬프트는 100% 의 경우에 주어지므로, 100% 정확해질 때까지 문장을 부드럽게 고쳐야 한다. 예: “프런트엔드 변경이면 항상 검증하라” → 문자열 하나 바꾸는 빠른 수정엔 과하다. 지시를 줄 때마다 선의의 다른 사람이 오해할 여지를 먼저 상상하라고 권한다.
사람을 코드리뷰에서 빼는 건 6개월 이상 걸린 점진적 작업이었다. 방법은 “특정 파일군에서 코드리뷰가 이슈를 100% 잡고 있다”를 실측한 뒤 그 범위만 사람을 뺀 것. 장애가 나면 그 PR 을 리뷰 규칙에 반영하고 동시에 eval 셋에 추가해 다시는 퇴행하지 않게 한다. 핵심 코어에는 여전히 code owner 가 있고 전부 수동 리뷰한다.
eval 셋의 목적은 새 모델을 drop-in 교체 가능하게 만드는 것. 새 모델이 나오면 전체 eval 을 돌려 “이전 모델보다 엄격히 낫다”를 확인한 뒤 갈아끼운다. 능력 eval 뿐 아니라 행동(behavioral) eval 도 쌓는다 — “이제 자야 할 시간”이라고 말하거나 “5개 중 2개 했는데 계속할까요?”라고 묻는 것 같은, 사용자가 싫어하는 행동들.
auto mode 는 매 도구 호출마다 Sonnet 분류기가 대화 맥락과 함께 심사하는 구조다. 그래서 권한이 정적이지 않고 사용자 발화에 따라 동적으로 바뀐다 — “이거 push 해줘”라고 했으면 허용하고 “push 하지 마”라고 했으면 차단한다. 샌드박스와도 연동돼 네트워크 요청이 샌드박스를 벗어나려 할 때 그 요청이 타당한지 판단해 통과시킨다. 사내에선 1월부터 써왔고, 레드팀 위탁으로 발견된 공격을 전부 완화했다고 말한다(100% 는 아니라고 명시).
Claude Tag 는 사내 프로덕트 엔지니어링 PR 의 65% 를 처리한다. 기존 Claude Code 와의 차이는 셋: 채널 단위 멀티플레이어(동료가 같은 세션에 끼어듦), 반응형이 아닌 선제형(채널 수명 내내 버그리포트를 감시해 알아서 PR 올리고 담당 엔지니어를 태그), 그리고 채널별 팀 메모리(현재 구현은 채널당 마크다운 파일 1개). 공개 채널일수록 검색 범위가 넓어져 정확도가 올라간다.
“재작성은 이제 좋은 것”이고, 코드베이스가 곧 스펙이다. 좋은 테스트 스위트가 있으면 구현을 3개 띄워놓고 가장 정확한 걸 고르는 식이 가능해졌다. 발화자는 코드베이스가 스펙의 유일한 사본일 수 있다고 본다 — 아무도 모든 분기를 다 알지 못하므로. 조직 차원에선 아이디어→구현 시간이 6~12개월에서 1주로 줄면서 실행력보다 무엇을 만들지 고르는 안목의 값이 올라갔다고 말한다.

용어

Claude Tag [하니스 · 패턴]: 팀 협업 도구(Slack) 안에 상주하는 Claude. 채널 단위 멀티플레이어이며 선제적으로 동작한다.
auto mode [하니스 · 패턴]: 매 도구 호출을 Sonnet 분류기가 대화 맥락과 함께 심사해 허용·차단하는 실행 모드. 정적 허용목록이 아니라 발화 기반 동적 권한.
Fable [모델 · 구독]: 이 대담 시점에 막 공개된 Anthropic 프런티어 모델. 시스템 프롬프트 감축의 전제가 된 모델 세대.
code owner [커리어 · 조직]: 특정 코드 영역의 품질 책임자. 그 영역을 건드리는 PR 은 이 사람의 승인이 필요하다.
eval set [워크플로우 · 문화]: 모델·프롬프트 변경이 성능을 떨어뜨리지 않는지 재는 평가 묶음. 장애 재발 방지 장치로도 쓰인다.
behavioral eval [워크플로우 · 문화]: 정답률이 아니라 “사용자가 그 행동을 싫어하는가”를 재는 평가. 중간에 멈춰 물어보는 습관 같은 것.
credential injection [도구 통신 (MCP · CLI · API)]: 에이전트가 자격증명을 보유하지 않고 사용만 하게 하는 방식. 요청 시점에 프록시가 실제 토큰으로 바꿔치기한다.
dogfooding (ant-fooding) [워크플로우 · 문화]: 외부 출시 전 사내 전원이 먼저 쓰는 문화. 내부 활성 사용자 수·리텐션 기준선을 넘겨야 출시한다.
prompt injection [하니스 · 패턴]: 외부 입력에 섞인 지시를 에이전트가 진짜 명령으로 오인해 실행하게 만드는 공격.
remote control [하니스 · 패턴]: 모바일·웹에서 로컬 CLI 의 Claude Code 세션에 붙어 조종하는 기능.