[한영자막] 시그널에서 PR까지: 스스로 고치는 AI 에이전트의 해부학 — Tech Bridge

한 줄 요약

Arize 창업자가 자사 제품 Signal 을 예로 들어, 옵저버빌리티가 「사람이 보는 그래프」에서 「에이전트가 먹는 원료」로 넘어가는 중이며 사람의 역할이 대응자에서 검토자로 이동한다고 발표한 20분짜리 강연.

영상 메타

• URL: https://youtu.be/bWCkf2yTIJc
• 채널: Tech Bridge
• 길이: 20분 8초
• 업로드: 2026-08-01
• 조회수: 80 / 좋아요 6
• 시청일: 2026-08-01 KST (🪽 가 자막 추출 후 요약)

픽업

• 옵저버빌리티는 원래 사람용이었다 — 클릭하는 UI, 들여다보는 그래프. 지금은 텔레메트리가 「시스템이 뿜는 연기」로서 에이전트에게 코드가 어느 경로를 탔는지 알려주는 원료가 됐다. 그게 없으면 경로 후보가 백만 개라 추측밖에 못 한다.
• 병목은 더 이상 고치는 것이 아니다. 코딩 에이전트와 스킬을 써본 사람들이 실제로 걸리는 지점은 「이 픽스가 밀어도 되는 픽스가 맞나」라는 확신 쪽이다.
• 루프를 뒤집었다. 사람이 먼저 보고 에이전트가 고치는 순서가 아니라, 에이전트가 데이터를 먼저 훑어 이슈를 올려두고 사람은 증거가 이미 깔린 상태로 아침에 마주한다. 티켓을 사람이 집어드는 대신 깊은 증거가 이미 앞에 놓여 있는 형태다.
• 그래서 일의 성격이 responder(대응자)에서 reviewer(검토자)로 옮겨간다. 다만 픽스가 클수록 사람이 끝까지 끌고 가야 하고, 지금 현실은 「사람이 검토」보다 「사람이 2·3단계를 운전」에 가깝다.
• 로그와 트레이스를 지금보다 10배, 자릿수 단위로 더 남겨라. 예전엔 사람이 다 못 읽으니 노이즈였지만, 경로를 아는 것이 자동 수정 루프의 연료라서 전제가 뒤집혔다.
• 스킬 설계가 핵심이고 「그냥 클로드를 데이터에 갖다 대는 것」이 아니다. 올바른 데이터를 먼저 찾고, 그걸 파일 포맷으로 repo 안에 떨어뜨려야 한다. 하니스는 파일을 다루는 데 마법 같아서, 실제로 10MB짜리 파일을 repo 에 앉혀두는 경우도 있다.
• 블랙박스 SRE 에이전트를 파는 게 아니라 하니스·샌드박스·스킬을 사용자가 고르게 하는 열린 구조를 지향한다. 로컬에서 먼저 되게 만든 뒤 그대로 샌드박스로 옮겨 주기적·이벤트 기반으로 돌리는 것이 전부다. 고객 상당수가 프로덕션을 외부 모델 제공자에 직접 연결하기를 꺼려서 자체 사설망 안 샌드박스 선택지가 필요하다.

용어

• 옵저버빌리티(Observability) [빌링 · 운영]: 돌아가는 시스템이 안에서 무슨 일을 했는지 밖에서 알아볼 수 있게 만드는 것.
• 텔레메트리(Telemetry) [빌링 · 운영]: 시스템이 스스로 뿜어내는 로그·트레이스·지표 묶음.
• 트레이스(Trace) [빌링 · 운영]: 요청 하나가 코드의 어느 길을 거쳐 갔는지 구간별로 남긴 이동 기록.
• eval(평가) [워크플로우 · 문화]: 시스템 출력이 기준에 맞는지 자동으로 채점하는 장치. 보통 이미 겪은 실패를 다시 잡으려고 만든다.
• online eval [워크플로우 · 문화]: 따로 돌리지 않고 프로덕션 트레이스 위에 얹어 실시간으로 채점하는 eval. 채점 결과가 트레이스에 붙은 데이터가 된다.
• LLM as a judge [워크플로우 · 문화]: 사람 대신 언어모델이 출력 품질을 채점하게 하는 방식. 대규모로 상시 돌릴 수 있다.
• 하니스(Harness) [하니스 · 패턴]: 에이전트를 실제로 굴리는 실행 껍데기. 발표에서는 사용자가 직접 고르는 대상으로 다룬다.
• 샌드박스(Sandbox) [하니스 · 패턴]: 에이전트가 격리된 채 코드를 돌려보는 임시 실행 환경.
• 콜드 스타트(cold start) [워크플로우 · 문화]: 조사를 시작하는 시점에 증거가 이미 모여 있어 맨바닥에서 출발하지 않는 상태.
• VPC 배포 [빌링 · 운영]: 고객사 자체 사설망 안에 제품을 설치해 데이터가 바깥으로 나가지 않게 하는 방식.