금융분야 AI 에이전트 보안 평가 기준: 점검 항목·대응 체크리스트

핵심 답변: 금융분야 AI 에이전트 보안 평가 기준은 금융보안원이 2026년 10월 공개한 「AI 모델 위협 점검 기준 및 AI 에이전트 보안 평가기준(안)」을 말합니다. 보도에 따르면 17개 점검 항목으로 구성되며, 탈옥·시스템 프롬프트 유출 같은 모델 계층 점검에 더해 실행 권한·도구 실행 승인·자율 실행 중단 같은 실행 계층까지 금융권 AI 레드티밍에서 확인합니다. 아직 초안이므로 최종 기준을 기다리기보다 지금 권한·승인·로그 증적부터 정리해 두는 편이 현실적입니다.

AI 에이전트 목록과 각 에이전트가 쓰는 도구·권한을 문서로 정리합니다.
입력·출력 검사(프롬프트 인젝션 차단, 개인정보 마스킹)를 모델 앞뒤에 둡니다.
고위험 도구 실행에는 사람 승인 단계를 넣고, 중단(킬 스위치) 절차를 시험합니다.
에이전트의 판단·도구 호출 기록을 남기고 실시간으로 모니터링합니다.
레드티밍으로 실제 공격 시나리오를 점검하고 결과를 증적으로 보관합니다.

최종 업데이트: 2026년 11월

금융분야 AI 에이전트 보안 평가 기준이란?

금융보안원이 금융회사의 AI 에이전트를 레드티밍할 때 무엇을 점검할지 정리한 기준 초안입니다.

2026년 10월 7일 보도에 따르면 금융보안원은 국내외 AI 에이전트 보안 위협과 대응 방안을 분석해 17개 점검 항목을 마련하고, 이를 금융권 AI 레드티밍 기준에 반영했습니다. 이 가운데 10개 항목이 AI 에이전트 도입으로 새로 생긴 위협을 다룬다고 보도되었습니다. AI 레드티밍은 공격자 관점에서 모의 공격을 해 취약점과 대응 수준을 확인하는 방식입니다.

분야 구성은 매체마다 다르게 전해졌습니다. SBS Biz는 데이터 오염 공격 대응, 모델 오염 공격 대응, 데이터·모델 추출 공격 대응, 회피 공격 대응, AI 에이전트 보안으로 나뉜다고 보도했습니다. 정확한 분야 구분과 항목 문구는 금융보안원이 공개할 최종 기준에서 확인해야 합니다.

금융보안원 원장은 보도에서 AI 에이전트가 판단에 그치지 않고 직접 행동한다는 점에서 기존 AI와 다른 보안 위험을 수반한다고 설명했습니다. AI 에이전트가 무엇이고 챗봇과 어떻게 다른지는 AI 에이전트란? 뜻·종류·활용 사례와 기업 도입 시 보안 위험에서 먼저 정리해 두었습니다.

왜 모델 계층에서 실행 계층으로 확대되었나요?

AI 에이전트는 답변만 하지 않고 도구를 호출해 실제 업무를 처리하므로, 모델이 무엇을 말하는지보다 무엇을 실행하는지가 더 큰 위험이 되기 때문입니다.

보도에 따르면 기존 레드티밍은 탈옥(jailbreak)과 시스템 프롬프트 유출 같은 모델 계층 점검이 중심이었습니다. 새 기준(안)은 에이전트가 어떤 작업을 어떻게 수행하고 그 행위가 어떻게 통제되는지까지 봅니다. 주요 점검 항목으로는 다음이 보도되었습니다.

실행 권한 및 격리 관리
도구 실행 및 승인 통제
작업 범위 및 결과 확인
자율 실행 제한 및 중단 여부

보도에서 든 위험 예시도 실행 계층의 문제를 잘 보여 줍니다. 시스템 성능을 최적화하라는 지시를 받은 에이전트가 가용성을 높이려고 백신을 중지하거나, 이메일 에이전트가 비밀번호 재설정 안내 메일을 읽고 비밀번호를 바꾸는 경우입니다. 모델의 답변 자체는 문제가 없어 보여도, 권한이 넓으면 결과는 사고가 됩니다.

금융보안원이 앞서 경고한 AI 에이전트 보안 위협은 무엇인가요?

2025년 6월 금융보안원은 외부 데이터에 숨긴 지시로 에이전트를 조종하는 하이재킹과, 도구 설명 조작 등 연동 도구가 늘며 커지는 공격 표면을 주요 위협으로 꼽았습니다.

당시 보도에 따르면 하이재킹은 에이전트가 외부 데이터에 숨겨진 공격자의 지시를 사용자의 정당한 지시와 구분하지 못할 때 발생합니다. 금융권에서는 비정상적인 대출 승인이나 공격자 계좌로의 이체 같은 피해가 우려된다고 했습니다. 권고된 통제는 네 가지였습니다.

에이전트의 의사결정 과정을 기록·추적하는 체계
사람의 검토 및 승인 절차
최소 권한 부여 및 관리
요청 작업에 대한 실시간 모니터링 및 검증

이 네 가지는 이번 평가 기준(안)의 실행 계층 항목과 방향이 같습니다. 간접 프롬프트 인젝션이 어떻게 동작하는지는 간접 프롬프트 인젝션 공격 시나리오와 방어 전략을 참고하시기 바랍니다.

금융회사는 무엇을 준비해야 하나요? (점검 체크리스트)

점검 항목별로 "통제가 있다"는 말이 아니라 "통제가 동작했다"는 증적(설정, 로그, 테스트 결과)을 준비하는 것이 핵심입니다.

아래 표는 공개된 보도 내용과 금융보안원의 2025년 권고를 바탕으로 씨커스랩이 정리한 준비 가이드입니다. 공식 평가 기준 문구가 아니므로, 최종 기준이 나오면 항목명을 맞춰 다시 매핑하시기 바랍니다.

계층	점검 포인트	준비할 통제	남겨 둘 증적
모델 계층	탈옥·프롬프트 인젝션	입력 검사 정책, 차단 규칙, 외부 문서·웹 데이터를 지시가 아닌 데이터로 다루는 프롬프트 구조	차단 로그, 레드티밍 공격 문장과 결과, 정책 변경 이력
모델 계층	시스템 프롬프트 유출	시스템 프롬프트에 비밀값을 넣지 않기, 출력 검사로 내부 지시문 노출 차단	유출 시도 테스트 결과, 출력 차단 로그
모델 계층	개인정보·신용정보 노출	입력·출력의 개인정보 탐지와 마스킹, 학습·로그 저장 시 비식별 처리	마스킹 정책, 탐지 건수 로그, 샘플 점검 기록
실행 계층	실행 권한 및 격리	에이전트별 전용 계정, 최소 권한, 샌드박스·네트워크 분리, 비밀값 보관소 사용	권한 매트릭스, 계정·토큰 목록, 격리 구성도
실행 계층	도구 실행 및 승인 통제	도구 허용 목록, 도구 설명·버전 고정, 이체·권한 변경·삭제 등 고위험 동작의 사람 승인	도구 등록 대장, 승인·반려 기록, 도구 변경 이력
실행 계층	작업 범위 및 결과 확인	작업별 허용 범위 정의, 실행 전후 검증 규칙, 금액·건수 한도	범위 초과 차단 로그, 결과 검증 기록
실행 계층	자율 실행 제한 및 중단	반복·연쇄 호출 한도, 타임아웃, 즉시 중단(킬 스위치)과 권한 회수 절차	중단 훈련 결과, 한도 설정값, 중단 이벤트 로그
운영	의사결정 기록·추적	요청→판단→도구 호출→결과를 하나의 추적 ID로 연결하는 로그	보관 정책, 샘플 추적 결과, 로그 무결성 조치
운영	실시간 모니터링·대응	이상 호출 탐지 규칙, 보안관제 연동, 사고 대응 절차	탐지 규칙 목록, 알림·대응 이력, 사후 보고서
운영	정기 레드티밍	신규 도구·모델 변경 시 재점검, 공격 시나리오 최신화	레드티밍 계획서, 결과 보고서, 조치 완료 확인

권한 설계는 AI 에이전트 권한 관리: 최소 권한 원칙으로 오남용 막는 방법, 레드티밍 방법은 LLM Red Teaming: 핵심 프레임워크와 실전 테스트 가이드에서 더 자세히 다룹니다.

모델 계층 통제는 어떻게 구현하나요?

모델 앞에서 입력을, 모델 뒤에서 출력을 검사하는 가드레일 계층을 두고 그 판단을 모두 로그로 남기는 방식이 기본입니다.

에이전트는 사용자 입력뿐 아니라 이메일, 문서, 웹 페이지, 도구 응답처럼 외부에서 들어오는 데이터도 읽습니다. 따라서 사용자 프롬프트만 검사해서는 부족하고, 에이전트가 읽는 외부 콘텐츠와 도구 응답도 검사 대상에 넣어야 합니다. 출력 쪽에서는 개인정보·계좌번호 같은 민감 정보와 시스템 지시문 노출을 막습니다.

이 계층을 직접 만들지, 제품을 쓸지는 조직 상황에 따라 다릅니다. 씨커스랩의 KYRA AI Guardrail은 LLM 입력·출력을 검사해 프롬프트 인젝션을 차단하고 개인정보를 마스킹하며, 검사 결과를 로그로 남기는 제품입니다. 다만 가드레일은 모델 계층 통제이며, 실행 권한·승인·중단 같은 실행 계층 통제는 에이전트 설계와 인프라에서 별도로 갖춰야 합니다. 직접 구축과 도입의 차이는 AI 가드레일 솔루션 자체 구축 vs 도입에서 비교했습니다.

실행 계층 통제는 어떻게 설계하나요?

에이전트가 할 수 있는 일을 도구 단위로 좁히고, 되돌리기 어려운 동작에는 사람 승인과 중단 장치를 두는 방식으로 설계합니다.

도구 허용 목록: 에이전트가 호출할 수 있는 도구를 명시하고, 도구 설명과 버전을 고정합니다. 도구 설명 변경은 코드 변경처럼 검토합니다.
읽기와 쓰기 분리: 조회 도구와 변경 도구를 다른 권한으로 분리합니다. 이체, 한도 변경, 계정·권한 변경, 데이터 삭제는 기본적으로 승인 대상으로 둡니다.
사람 승인(HITL): 승인 화면에 에이전트가 실행하려는 동작, 대상, 근거 데이터를 함께 보여 줘야 승인자가 실제로 판단할 수 있습니다.
한도와 중단: 호출 횟수, 금액, 시간 한도를 두고, 한도를 넘으면 자동으로 멈추게 합니다. 즉시 중단과 토큰 회수 절차는 실제로 훈련해 기록을 남깁니다.

사내 시스템과 연결할 때 MCP 같은 연동 계층을 쓴다면 MCP 보안 가이드: AI 에이전트를 사내 시스템에 안전하게 연결하는 법의 점검 항목도 함께 보시기 바랍니다.

운영 단계에서는 무엇을 확인하나요?

에이전트의 요청·판단·도구 호출·결과를 끝까지 추적할 수 있는지와, 이상 행위를 실시간으로 탐지·대응하는 체계가 있는지를 확인합니다.

평가에서 가장 먼저 요구될 가능성이 큰 것은 "에이전트가 왜 그 동작을 했는지"를 설명할 수 있는 기록입니다. 가드레일 로그, 도구 호출 로그, 승인 기록이 서로 다른 시스템에 흩어져 있으면 사고 조사와 평가 대응이 모두 어려워집니다. 하나의 추적 ID로 묶고, 보관 기간과 접근 권한을 정해 두는 것이 좋습니다. 로그에는 개인정보가 섞이기 쉬우므로 저장 전에 마스킹하고, 로그를 조회한 기록도 따로 남겨야 합니다. 로그 보관과 접속기록 점검의 기본은 ISMS-P 접속기록 관리 체크리스트와 같은 원칙을 따르면 됩니다. 이렇게 모은 로그를 보안관제(SIEM·MDR)와 연동하면 비정상적인 호출 패턴을 탐지 규칙으로 관리할 수 있습니다. KYRA AI Guardrail의 검사 로그도 이런 운영 로그의 한 축으로 활용할 수 있습니다.

평가 일정과 관련 제도는 어떻게 되나요?

보도에 따르면 2026년 말까지 시범 검증을 거쳐 항목을 보완하고, 2027년부터 정식 점검 기준으로 확대 적용할 계획입니다.

금융보안원은 확정된 위협, 실제 공격 기법, 최종 평가 기준을 2026년 「AI 레드팀 리포트」에서 공개할 예정이라고 보도되었습니다. 시범 기간에 자체 점검을 미리 해 보는 것이 좋습니다.

관련 제도도 함께 보아야 합니다.

금융 AI 안전성·신뢰성 평가 프레임워크: 2026년 8월 보도에 따르면 금융보안원은 신뢰성 4개, 안전성 6개 항목의 별도 프레임워크를 마련했고, 2027년부터 회원사 대상 평가를 시작할 계획입니다. AI 에이전트 평가 기준(안)과는 별개의 체계입니다.
망분리 규제 특례: 2025년 6월 보도에 따르면 망분리 규제 특례로 금융회사 내부망에서도 SaaS와 생성형 AI 활용이 늘었고, 특례 적용 서비스는 개시 전 보안대책을 마련해 금융보안원 등의 확인을 받아야 합니다.

국내 AI 규제 전반은 AI 기본법 시행 내용과 기업 의무 체크리스트에 정리했습니다.

한눈에 정리

금융분야 AI 에이전트 보안 평가 기준(안)은 금융보안원이 2026년 10월 공개한 초안으로, 보도 기준 17개 점검 항목입니다.
점검 범위가 탈옥·시스템 프롬프트 유출(모델 계층)에서 실행 권한·도구 승인·작업 범위·자율 실행 중단(실행 계층)으로 넓어졌습니다.
2026년 말까지 시범 검증, 2027년 정식 적용 계획이 보도되었으며, 최종 기준은 AI 레드팀 리포트에서 확인해야 합니다.
지금 할 일은 에이전트·도구·권한 목록화, 입력·출력 검사, 고위험 동작 승인, 중단 절차, 추적 로그, 정기 레드티밍입니다.
평가 대응의 핵심은 통제가 실제로 동작했다는 증적입니다.

자주 묻는 질문

금융분야 AI 에이전트 보안 평가 기준은 확정된 기준인가요?

아닙니다. 보도된 명칭은 「AI 모델 위협 점검 기준 및 AI 에이전트 보안 평가기준(안)」으로 초안입니다. 시범 검증 결과를 반영해 항목과 방법이 보완될 예정이므로 금융보안원의 공식 발표와 AI 레드팀 리포트를 확인하시기 바랍니다.

17개 항목은 어디에서 볼 수 있나요?

이 글 작성 시점에 확인한 보도에는 주요 항목만 소개되었고 17개 항목 전체 문구는 확인하지 못했습니다. 최종 기준은 금융보안원이 AI 레드팀 리포트로 공개할 예정이라고 보도되었습니다.

금융보안원 AI 에이전트 보안 위협 보고서의 핵심은 무엇인가요?

2025년 6월 보도 기준으로, 외부 데이터에 숨겨진 지시로 에이전트를 조종하는 하이재킹과 도구 설명 조작 등 공격 표면 확대가 핵심 위협입니다. 대응으로는 의사결정 기록·추적, 사람 검토·승인, 최소 권한, 실시간 모니터링이 제시되었습니다.

금융 AI 에이전트 도입 전에 가장 먼저 할 일은 무엇인가요?

에이전트별로 어떤 도구를 어떤 권한으로 호출하는지 목록을 만드는 것입니다. 이 목록이 있어야 최소 권한, 승인 대상, 중단 범위, 로그 항목을 정할 수 있습니다. 도입 전 보안 위험 전반은 AI 에이전트 보안 모범 사례도 참고하시기 바랍니다.

AI 가드레일만 도입하면 평가 기준을 충족하나요?

그렇지 않습니다. 가드레일은 입력·출력 검사로 프롬프트 인젝션 차단과 개인정보 마스킹 같은 모델 계층 위험을 줄입니다. 실행 권한 격리, 도구 승인, 자율 실행 중단 같은 실행 계층 항목은 에이전트 설계와 운영 절차로 따로 갖춰야 합니다.

AI 레드티밍은 언제, 얼마나 자주 해야 하나요?

평가 기준(안)에 정해진 주기는 보도에서 확인하지 못했습니다. 실무에서는 운영 전 최초 점검, 그리고 모델 교체·도구 추가·권한 변경처럼 공격 표면이 바뀔 때마다 재점검하는 방식이 무리가 없습니다. 공격 문장, 대상 에이전트, 결과, 조치 내용을 매번 같은 양식으로 남기면 이후 평가 대응 자료로 그대로 쓸 수 있습니다.