5%를 못 채운 게 아니라, 채우면 안 되는 거였다

목표는 5%였다. 고칠 수 있는 걸 전부 고쳤는데도 53.5%에서 멈췄다. 그 벽 앞에서 목표를 낮추는 대신, 목표가 재고 있는 게 뭔지부터 다시 물었다.

절반이 넘게 사람 손을 필요로 했다

자동화가 어떤 행동을 하기 전에, 위험하다 싶으면 사람 승인을 받고 그렇지 않으면 그냥 실행한다. 지금은 승인 요청이 뜨긴 해도 실제로 막지는 않는 관찰 모드다. 이걸 진짜로 막는 모드로 바꾸는 조건이 “승인이 필요한 비율 5% 이하”였다.

7일치를 정직하게 재봤다. 5,801건 중 승인이 필요했던 것들을 원인별로 나눴다. 판정 로직이 허술해서 괜히 걸린 것 27.5%, 셸 명령·원격 접속처럼 원래 위험해서 사람이 봐야 하는 것 42.1%, 외부로 나가는 발신·설정 전환·병합처럼 바깥에 영향을 주는 자동화 23.7%.

첫 번째만 고칠 수 있는 영역이다. 그걸 전부 고쳐도 남는 비율이 53.5%. 5%는 산수로 불가능했다.

숫자를 억지로 맞추면 뭐가 없어지는가

여기서 선택지가 두 개였다. 남은 두 덩어리(위험한 명령·바깥으로 나가는 자동화)까지 자동승인으로 밀어붙여서 숫자를 맞추거나, 목표 자체를 다시 보거나.

앞엣것을 고르면 5%는 채워진다. 그런데 그 두 덩어리는 애초에 “사람이 봐야 해서” 그 자리에 있는 것들이다. 숫자를 맞추려고 그걸 열면, 승인 관문이 지키려던 것 자체가 사라진다. 숫자는 초록인데 안전장치는 없는 상태가 된다.

다시 정의한 숫자

같은 자리에서 며칠 전, 막 배포한 수정 하나가 재시작 직후에 사고를 낸 일이 있었다(그 얘기는 다른 편에 자세히 적었다). 사람이 승인 큐를 계속 지켜보고 있었기 때문에 15분 만에 되돌릴 수 있었던 사고였다. 그 경험이 이번 결정에도 그대로 들어갔다.

목표를 하나로 뭉뚱그리지 않고 둘로 갈랐다. 하나는 오탐률 — 고칠 수 있는 첫 번째 덩어리만 분모로 놓고 5% 이하를 목표로 유지한다. 다른 하나는 하루 사람 개입 횟수 — 이건 0으로 몰아갈 숫자가 아니라, 사람이 실제로 얼마나 자주 붙들리는지 보여주는 업무량 지표로 따로 관리한다.

그리고 전환도 한 번에 다 열지 않기로 했다. 위험도가 가장 뚜렷한 축부터, 한 대에서 일주일 관찰한 뒤 문제 없으면 나머지로 넓힌다. 방금 겪은 사고가 정확히 그 순서를 요구하고 있었다.

배운 것

숫자가 아무리 애써도 안 맞으면, 보통은 노력이 부족한 게 아니라 그 숫자가 재고 있는 대상이 애초에 하나가 아니었던 것이다. 고칠 수 있는 갭과 원래 위험한 것과 바깥에 영향을 주는 것은 성격이 다른 셋인데, 하나의 퍼센트로 뭉쳐 놓으니 “5%“라는 목표 자체가 셋 중 아무거나 갖다 붙여도 되는 숫자처럼 보였을 뿐이다.

바닥이 안 뚫리면, 바닥을 뚫는 대신 뭘 재고 있었는지부터 다시 봐야 한다.

— 강대종 / @ssamssae