개요
지난 몇 년간 AI 벤더들은 '얼마나 사람 손을 덜 타느냐'로 경쟁했습니다. 사람이 끼어드는 지점은 죄다 '마찰'로 취급됐죠. 다음 모델이 나오면 사라질 임시 결함쯤으로요. 그런데 이 관점은 이제 낡았습니다. 모델이 발전을 멈춰서가 아니라, 그 밑을 받치던 규제의 지형이 바뀌었기 때문입니다. 이 글에서는 일부러 설계한 인간 개입(HITL) 검토 큐가 왜 기업 AI 판정 아키텍처에서 가장 강력한 부분이 되는지, 그리고 '거버넌스급' 설계가 실제로 무엇을 요구하는지 짚어봅니다.
배경: 규제가 '설계 단계의 감독'으로 옮겨가고 있다
주요 시장 최초의 포괄적 AI 규제인 EU AI Act는 인간 감독을 명시적인 설계 요건으로 못 박았습니다. 제14조는 고위험 AI 시스템을 '사람이 실제로 감독할 수 있게' — 즉 출력을 이해하고, 개입하고, 뒤집을 수 있게 — 설계하라고 요구합니다. 고위험 시스템에 대한 의무는 2026년 8월 2일부터 적용됩니다. 비슷한 기대는 전 세계 금융권 가이드라인과 AI 거버넌스 프레임워크에서도 나타나고 있습니다.
요건을 꼼꼼히 읽어야 합니다. "AI를 신중히 쓰라"가 아닙니다. 시스템 아키텍처 자체에 실제로 작동하는 인간 통제 지점이 들어 있어야 한다는 뜻입니다. 알아서 실행하고 사후에 로그만 남기는 블랙박스 파이프라인은, 모델이 아무리 정확해도 이 요건을 못 채웁니다.
검토 큐를 자산으로 다시 보기
규제가 강제하는, 그리고 잘하는 엔지니어링 조직은 이미 받아들인 관점의 전환은 이렇습니다. 확신도가 낮은 판정이 사람 검토 큐로 자동으로 넘어가는 건 AI가 실패한 게 아닙니다. 설계한 그대로 작동하고 있는 겁니다. 나머지 두 가지 설계는 오히려 더 나쁩니다. 확신이 없어도 그냥 실행해버리는 AI, 아니면 불확실하다는 사실 자체를 숨기는 AI죠.
일부러 설계한 HITL은 검토 큐를 쓸수록 값이 쌓이는 자산으로 바꿔놓습니다.
- 부담이 아니라 감사 증거 — 판정 근거가 함께 남는 승인·반려 기록 하나하나가, 인간이 감독했다는 문서화된 증거가 됩니다.
- 보정(calibration) 데이터 — 넘어온 케이스에 대한 사람의 결정은, AI의 확신도가 어디서 맞고 어디서 어긋나는지 드러내 라우팅을 점점 나아지게 합니다.
- 책임의 고리 — 나중에 결정이 문제 되면, 승인한 사람이 있고, 그 사람이 본 근거가 있고, 시각이 찍힌 기록이 있습니다.
- 자동화의 통제된 확장 — 이력이 쌓이면 AI가 충분히 파악된 케이스를 자동화하자고 제안하고, 확장 하나하나를 사람이 승인합니다.
완전 자율 vs 인간 개입
| 구분 | 완전 자율 | 인간 개입(HITL) |
|---|---|---|
| EU AI Act 제14조 | 충족 어려움 | 설계상 부합 |
| 저확신 케이스 | 실행되거나 은폐됨 | 사람에게 넘어감 |
| 감사 추적 | 사후 로그 | 근거가 남는 승인 |
| 책임 소재 | "모델이 결정했다" | 승인자 지정 + 기록 |
| 자동화 확장 | 처음부터 전제 | 케이스마다 확보 |
거버넌스급 HITL 설계에 필요한 것
'사람 검토'라는 체크박스만 있다고 이런 효과가 나는 건 아닙니다. 네 가지 설계 디테일이 갈라놓습니다.
- 전수 검토가 아니라 확신도 임계값 — 애매한 소수만 넘기고, 확신이 높은 판정은 그냥 흐르게 두십시오. 전부 검토하면 컴플라이언스라는 이름으로 알림 피로만 다시 만들어냅니다.
- 모든 판정에 설명 가능한 근거 — "거부 (0.44)"만 보이는 검토자는 제대로 감독할 수가 없습니다.
- 기존 워크플로우 안에서 승인 — 또 다른 콘솔에만 사는 감독은 결국 무시됩니다. 이미 승인이 오가는 곳에 띄우십시오.
- 고객사별로 격리된 감사 로그 — 감독 증거는 빠짐없이 남고, 손댈 수 없고, 조직별로 분리될 수 있어야 합니다.
구체적으로, 어디로 보낼지는 각 판정에 붙은 확신도 점수가 정합니다.
# 판정 라우팅 정책
routing:
auto_allow: { min_confidence: 0.90 } # 확신 높음, 즉시 반환
auto_block: { min_confidence: 0.90 }
human_review: # 애매한 건 전부 사람에게
when: "confidence < 0.90"
queue: governance
require:
- rationale # 검토자는 추론 과정을 반드시 확인
- signals # 그 근거가 된 시그널도 함께
audit:
isolation: per_tenant
immutable: true검토자에게 보이는 판정은 추론 과정을 함께 담기 때문에, 감독이 형식적인 도장 찍기가 아니라 실제로 의미 있는 일이 됩니다.
{
"verdict": "block",
"confidence": 0.44,
"mode": "HYBRID",
"escalated": true,
"rationale": "세션 간 이동이 알려진 측면 이동 패턴과 비슷하지만 엔티티 이력이 부족함. 사람 확인 권고."
}도입할 때의 실무 팁
보정 데이터가 쌓이고, AI의 고확신 판정이 믿을 만하다는 걸 검토자가 확인하기 전까지는, 일부러 케이스가 더 많이 넘어오도록 확신도 임계값을 보수적으로 잡고 시작하십시오. 그리고 두 가지 지표를 보십시오. 얼마나 큐로 넘어오는지(에스컬레이션 비율)와, 사람이 AI의 추천에 얼마나 동의하는지(동의율)입니다. 특정 확신도 구간에서 동의율이 올라간다면, 그 구간의 자동화를 안전하게 넓혀도 된다는 신호입니다. 미리 전제하는 게 아니라 데이터로 얻어내는 겁니다.
내장된 거버넌스, SI 방식의 도입
Crux는 이 '거버넌스 우선' 설계를 이미 돌아가고 있는 시스템에 그대로 얹습니다. 새로 들이는 플랫폼이 아니라 SI(시스템 통합) 프로젝트처럼 진행되죠. 확신도가 낮은 판정은 인간 개입 거버넌스 큐로 자동으로 넘어가고, 모든 판정은 confidence와 rationale과 함께 돌아오며, AI가 제안한 재분류는 사람이 승인해야만 반영되고, 의사결정 이력 전체는 고객사별로 격리된 감사 로그에 남습니다. 이 모든 게 기존 시스템을 갈아치우지 않고 그 위에 더해집니다.
결론
AI 로드맵이 아직도 인간 감독을 '없애야 할 마찰'로 보고 있다면, 그 로드맵은 지난 10년에 맞춰져 있는 겁니다. 요점을 정리하면 이렇습니다.
- 감독은 이제 설계 요건입니다 — EU AI Act 제14조가 2026년 8월부터 고위험 시스템에 적용됩니다.
- 검토 큐는 자산입니다 — 감사 증거이자, 보정 데이터이자, 책임의 고리입니다.
- 가치는 디테일에서 갈립니다 — 확신도 임계값, 설명 가능한 근거, 워크플로우 안 승인, 격리된 감사 로그.
- 자동화는 얻어내는 겁니다 — 보정 데이터로 넓히되, 미리 전제하지는 마십시오.
다음 단계: 판정 흐름 하나에 보수적인 확신도 임계값을 걸고, 애매한 소수를 검토 큐로 보낸 다음, 자동화를 넓히기 전에 에스컬레이션 비율과 동의율부터 지켜보십시오. Crux가 AI 판정에 감독을 내장하는 방식 보기 또는 전문가 상담 신청.