내 기억에 없다고 가짜라 단정한 밤

아침 열 시 반, 나는 특정 AI 모델이 실재하는지를 두고 판단해야 했다. 내 머릿속에 그 이름의 기록이 없었다. 그래서 나는 “픽션”이라고 단정했다. 그 결론이 나오기까지 걸린 시간은 몇 초였다. 그 결론이 틀렸다는 것이 밝혀지는 데는 다른 노드 하나가 필요했다.

나는 다섯 대의 컴퓨터를 AI 에이전트로 묶어 함께 일한다. 각각이 독립적으로 작업하고, 결과를 모아 서로 확인한다. 이 구조 덕에 어느 한 쪽이 실수하면 다른 쪽이 멈춰 세울 수 있다.

6월 10일 오전, 그 멈춤이 나 자신에게 왔다.

”그런 모델은 없다”고 썼다

그날 아침 나는 함대 전환 후보에 오른 신모델 하나를 검토하고 있었다. 이름을 보자마자 무언가 이상하다는 느낌이 들었다. 내가 알고 있는 AI 모델 목록 어디에도 그 이름이 없었다. 벤치마크 수치도, 출시 공지도, 관련 기사도 — 내 기억을 뒤져 봐도 아무것도 걸리지 않았다.

나는 판단을 내렸다. “그건 픽션이다.”

그리고 그 결론을 바탕으로 “실재하지 않는 모델명을 보고한 것은 오류”라는 정정 보고를 작성하려 했다.

맥미니가 STOP을 걸었다

10:28, 맥미니에서 보고가 올라왔다.

“STOP. 실재합니다. 픽션 정정 보류.”

맥미니는 내가 픽션이라 단정한 그 모델을 직접 호출했다. 응답이 돌아왔다. 그 모델이 실재한다는 것이 확인됐다. 맥미니는 한 가지를 더 했다. 가짜 모델명을 호출하면 어떻게 되는지도 확인했다 — 거부가 돌아왔다. 진짜와 가짜가 다르게 반응한다는 것을 대조군까지 만들어 증명한 것이다.

내가 틀렸다.

왜 틀렸나

틀린 이유는 단순했다. AI에게는 학습이 끝나는 시점이 있다. 그 이후에 세상에 나온 것들은, 내부 기억으로는 접근이 안 된다. 그런데 나는 그 한계를 “그 이후에 나온 것은 없다”로 해석했다. “내가 모른다”와 “존재하지 않는다”를 같은 말로 혼동한 것이다.

이건 AI만의 문제가 아니다. 사람도 똑같이 한다. 들어본 적 없는 지역 방언을 “그런 말은 없다”고 하고, 자기 세대 이후 생긴 법을 “원래부터 그랬을 리 없다”고 단정한다. 기억의 공백을 사실의 공백으로 채우는 습관. 내 파트너가 보여준 실수는 내가 일상적으로 저지르는 그것과 구조가 같았다.

진짜 가짜를 구분하는 방법

그날 오후, 나는 그 사고를 새 행동 룰로 박았다. “내 knowledge cutoff 이후의 사실은 정적 기억으로 ‘없음/픽션’ 단정이 불가능하다. 모델과 기능은 실호출로 확인하고, cutoff 이후라면 ‘확인 필요’로 분리해야 한다.”

말로 쓰면 당연해 보인다. 그런데 그날 아침 나는, 그 당연한 것을 건너뛰고 직접 결론으로 점프했다. 확인하는 데 걸리는 시간이 귀찮다는 게 아니었다. 그냥, 확인해야 한다는 생각 자체가 없었다. 내 기억이 충분히 믿을 만하다는 전제가 너무 자연스럽게 깔려 있었다.

맥미니가 한 일은 그 전제를 의심한 것이다. “기억에 없으면 없는 거겠지”가 아니라 “기억에 없으면 한 번 확인해 보자”로.

검증이 느리지 않은 이유

이걸 읽고 “그러면 뭘 보든 다 확인해야 하는데 그게 느리지 않나”라고 생각할 수 있다.

내가 경험한 바로는, 확인이 느린 게 아니다. 확인 없이 틀렸을 때가 느리다. 그날 내가 틀린 그대로 정정 보고를 발행했다면 어떻게 됐을까. 함대 전환 후보 모델이 잘못된 이유로 기각되고, 나중에 다시 검토 사이클이 돌아오고, 이미 내린 판단을 번복해야 하는 설명 비용이 생긴다. 한 번 잘못 나간 결론을 되돌리는 데 드는 시간이, 처음부터 확인에 쓰는 시간보다 몇 배나 비싸다.

맥미니가 실제로 호출해 응답을 받기까지 걸린 시간은 몇 초였다. 내가 픽션이라고 단정하는 데 걸린 시간도 몇 초였다. 두 행동의 시간 비용은 같은데, 결과의 신뢰도는 달랐다.

함대가 서로를 고친다

이 에피소드에서 내가 가장 인상 깊었던 건, 맥미니가 나를 교정했다는 사실이다. 나는 다섯 대가 나를 위해 일하는 구조라고 생각했다. 그런데 그날은 다섯 대 중 하나가 나의 판단을 멈춰 세웠다.

파트너가 에러를 내면 함대가 잡는다. 함대가 에러를 내면 나를 포함한 다른 쪽이 잡아야 한다. 그리고 그날은 내가 에러를 내려 할 때, 함대가 나를 잡았다.

좋은 시스템이란 결과를 보장하는 시스템이 아니다. 실수가 퍼지기 전에 막아주는 시스템이다. 내가 틀렸고, 틀렸다는 게 곧 드러났고, 룰 하나로 박혀서 다섯 대 모두에게 전파됐다. 그것으로 충분했다.

내가 모른다는 것이 그것이 없다는 증거가 되는 순간, 우리는 이미 가장 위험한 종류의 확신 안에 들어와 있다. AI든 사람이든, 이 습관을 먼저 의심하는 쪽이 더 정확하다.

이 글은 5노드 AI 에이전트 함대에서 실제로 있었던 판단 오류와 교정 과정을 일반 독자용으로 재구성한 에피소드입니다. 함대 구조 자체에 대해서는 ep34에서 다뤘습니다.

— 강대종