핵심 답변: AI 에이전트(AI Agent)란 사람이 목표를 주면 LLM(대규모 언어 모델)이 스스로 할 일을 계획하고, 검색·API·사내 시스템 같은 도구를 호출해 결과를 확인하면서 작업을 끝까지 수행하는 소프트웨어입니다. 질문에 답만 하는 챗봇과 달리 AI 에이전트는 실제로 행동(액션)을 하기 때문에, 편리한 만큼 권한과 보안 통제를 함께 설계해야 합니다.
- 뜻: 목표 → 계획 → 도구 실행 → 결과 확인을 반복하는 LLM 기반 자율 실행 소프트웨어
- 구성: LLM(두뇌), 계획, 도구(MCP 등으로 연결), 메모리
- 종류: 자율성 수준(보조형·반자율·자율), 구성(단일·멀티 에이전트), 업무(코딩·업무 자동화·고객 상담·보안 운영)
- 도입 시 핵심 위험: 프롬프트 인젝션, 과도한 권한, 외부 도구 연결, 데이터 유출
최종 업데이트: 2026년 11월
AI 에이전트란? 뜻과 정의
AI 에이전트의 뜻을 한 문장으로 정리하면 '목표를 받아 스스로 계획하고 도구를 써서 일을 끝내는 AI'입니다. '말하는 AI'에서 '일하는 AI'로 넘어가는 단계라고 볼 수 있습니다. 예를 들어 "지난주 장애 티켓을 요약해서 담당 팀에 공유해 줘"라는 요청을 받으면, 에이전트는 티켓 시스템을 조회하고, 내용을 요약하고, 메신저나 메일 도구를 호출해 공유까지 마칩니다. 사람은 목표와 승인을 맡고, 중간 단계는 에이전트가 판단합니다.
AI 에이전트와 챗봇의 차이
가장 큰 차이는 챗봇은 답을 만들고, AI 에이전트는 행동을 한다는 점입니다.
| 구분 | 챗봇 (생성형 AI 대화) | AI 에이전트 |
|---|---|---|
| 하는 일 | 질문에 답변·요약·초안 작성 | 목표를 받아 여러 단계를 계획하고 실행 |
| 외부 시스템 | 대부분 연결하지 않음 | 검색, API, DB, 사내 시스템을 도구로 호출 |
| 결과 | 텍스트 | 실제 변경(티켓 생성, 메일 발송, 설정 변경 등) |
| 사람의 역할 | 답을 읽고 직접 처리 | 목표 지정, 중요한 단계 승인, 결과 검토 |
| 주요 위험 | 잘못된 답변(할루시네이션) | 잘못된 행동: 권한 오남용, 데이터 유출, 연쇄 오류 |
에이전틱 AI와 AI 에이전트의 차이
에이전틱 AI(Agentic AI)란 AI가 스스로 목표를 세분화하고 계획·실행·수정하는 방식이나 성질을 가리키는 말이고, AI 에이전트는 그 방식으로 동작하는 개별 소프트웨어를 가리킵니다. 즉 "에이전틱 AI 시스템은 하나 이상의 AI 에이전트로 이루어진다"고 이해하면 됩니다. 실무에서는 두 말을 섞어 쓰는 경우가 많습니다.
AI 에이전트의 작동 방식과 구조
대부분의 AI 에이전트는 네 가지 구성 요소로 이루어지며, "생각 → 도구 실행 → 결과 관찰 → 다음 행동"을 목표를 달성할 때까지 반복합니다.
AI 에이전트 작동 방식: LLM이 계획을 세우고 도구(MCP)와 메모리를 사용해 목표를 달성할 때까지 반복합니다.
| 구성 요소 | 역할 | 예시 |
|---|---|---|
| LLM (두뇌) | 요청을 이해하고 다음 행동을 결정 | 상용 LLM API, 사내 구축 오픈소스 LLM |
| 계획 (Planning) | 목표를 작은 단계로 나누고 순서를 정함 | "조회 → 요약 → 공유" 순서 결정, 실패 시 재시도 |
| 도구 (Tools) | 실제 작업을 수행하는 함수·API | 검색, 사내 DB 조회, 티켓 생성, 메일 발송, 코드 실행 |
| 메모리 (Memory) | 대화 맥락과 이전 결과를 기억 | 작업 이력, 사용자 선호, RAG로 연결한 사내 문서 |
AI 에이전트와 MCP·A2A
- MCP(Model Context Protocol): AI 에이전트가 외부 도구와 데이터에 접속하는 방식을 표준화한 프로토콜입니다. 도구마다 따로 연동 코드를 짜지 않아도 되어 빠르게 확산되었지만, 연결된 도구 서버가 곧 공격 경로가 될 수 있습니다. 자세한 내용은 MCP 보안 가이드: AI 에이전트를 사내 시스템에 안전하게 연결하는 법을 참고하세요.
- A2A(Agent2Agent): 서로 다른 AI 에이전트끼리 작업을 주고받기 위한 통신 규격입니다. 멀티 에이전트 시스템에서 에이전트 간 협업에 쓰입니다.
AI 에이전트의 종류
AI 에이전트 종류: 자율성 수준, 구성(단일·멀티 에이전트), 업무별로 나눈 비교
1. 자율성 수준에 따른 종류
- 보조형(Copilot): 사람이 일하는 동안 제안만 하고, 실행은 사람이 합니다. 코드 자동 완성, 문서 초안 제안이 대표적입니다.
- 반자율형(Human-in-the-loop): 에이전트가 단계를 실행하되, 송금·삭제·외부 발송 같은 중요한 행동 전에는 사람의 승인을 받습니다. 기업 업무에 가장 현실적인 형태입니다.
- 자율형(Autonomous): 정해진 범위 안에서 승인 없이 끝까지 실행합니다. 영향이 작고 되돌리기 쉬운 업무에 한정하는 것이 일반적입니다.
2. 구성에 따른 종류: 단일 에이전트와 멀티 에이전트
- 단일 에이전트: 하나의 에이전트가 여러 도구를 써서 작업을 처리합니다. 구조가 단순해 시작하기 좋습니다.
- 멀티 에이전트 시스템: 조사·작성·검토처럼 역할이 다른 에이전트 여러 개가 협업합니다. 이들을 조율하는 구조를 멀티 에이전트 오케스트레이션이라고 하며, 보통 작업을 나누고 결과를 합치는 '관리자(오케스트레이터)' 에이전트를 둡니다. 복잡한 작업에 유리하지만, 에이전트끼리 주고받는 메시지도 공격 경로가 될 수 있어 통제 지점이 늘어납니다.
3. 업무에 따른 종류
- 코딩 에이전트: 코드 작성, 테스트 실행, 버그 수정, 코드 리뷰
- 업무 자동화 에이전트(업무용 AI 에이전트): 보고서 작성, 일정·메일 처리, 사내 시스템 간 데이터 정리
- 고객 상담 에이전트: 문의 분류, 주문·예약 조회, 상담원 연결
- 보안 운영 에이전트: 경보 분류, 로그 조사, 대응 절차 실행 보조 (AI 에이전트 기반 보안 자동화 참고)
AI 에이전트 활용 사례: 업무별 예시
기업용 AI 에이전트는 반복적이지만 규칙만으로는 처리하기 어려운 판단이 많은 업무에서 효과가 큽니다.
| 업무 | 에이전트가 하는 일 | 사람이 계속 맡아야 할 일 |
|---|---|---|
| IT 운영 | 장애 티켓 요약, 관련 로그 조회, 담당자 배정 제안 | 원인 판단, 복구 조치 승인 |
| 고객 지원 | 문의 분류, FAQ 기반 1차 답변, 주문 상태 조회 | 환불·예외 처리, 불만 고객 대응 |
| 영업·마케팅 | 리드 정보 정리, 제안서 초안, 미팅 기록 요약 | 가격·계약 조건 결정 |
| 개발 | 테스트 작성·실행, 간단한 버그 수정, 코드 리뷰 코멘트 | 설계 결정, 배포 승인 |
| 보안 | 경보 1차 분류, 위협 정보 조회, 조사 보고서 초안 | 차단·격리 같은 대응 결정 |
| 금융 | 내부 문서 검색, 규정 확인, 상담 기록 정리 | 고객 자산에 영향을 주는 거래·승인 |
공통점은 되돌리기 어려운 결정은 사람이 승인한다는 것입니다. 기업 사례는 기업 AI 도입 사례: AX(AI 전환) 성공 사례와 업무별 활용 사례에서 더 볼 수 있습니다.
AI 에이전트 만들기: 개발 방법과 프레임워크
AI 에이전트를 만드는 방법은 크게 두 가지입니다. 노코드 에이전트 플랫폼에서 도구를 연결해 만드는 방법과, 에이전트 프레임워크로 코드를 작성하는 방법입니다. 오픈소스 프레임워크로는 LangGraph, CrewAI, AutoGen 등이 널리 쓰입니다. 어느 방법이든 개발 순서는 비슷합니다.
- 목표 정의: 에이전트가 끝내야 할 작업과 성공 기준을 한 문장으로 정합니다.
- 도구 설계: 필요한 API·데이터를 도구로 정의하고, 각 도구의 권한(읽기/쓰기)을 정합니다.
- LLM과 프롬프트 선택: 작업 난이도와 데이터 반출 가능 여부(클라우드 API 또는 사내 LLM)를 기준으로 고릅니다.
- 승인 단계 설계: 되돌리기 어려운 행동 앞에 사람 승인을 둡니다.
- 테스트: 정상 요청과 공격성 요청(프롬프트 인젝션 등)을 함께 넣어 검증합니다.
- 운영: 모든 도구 호출을 로그로 남기고 이상 행동을 모니터링합니다.
이처럼 에이전트가 안전하게 일하도록 도구·권한·검증·로그를 설계하는 일을 AI 에이전트 엔지니어링 또는 하네스 엔지니어링이라고도 부릅니다.
기업의 AI 에이전트 도입 단계
- 과제 선정: 반복적이고 규칙화하기 어려운 판단이 많은 업무 하나를 고릅니다. 실패해도 피해가 작은 업무가 첫 과제로 좋습니다.
- 권한 설계: 에이전트가 쓸 도구와 데이터 범위를 업무에 꼭 필요한 만큼만 줍니다(최소 권한). 사람의 계정을 그대로 빌려 쓰지 않게 합니다.
- 가드레일 적용: 입력과 출력을 검사해 프롬프트 인젝션, 개인정보 노출, 금지된 행동을 막습니다.
- 평가: 정상 요청은 잘 처리하는지, 공격성 요청은 막는지를 테스트 세트로 함께 확인합니다.
- 운영: 도구 호출 로그, 중요 행동 승인, 이상 행동 모니터링을 유지합니다.
단계별 계획은 기업 AI 도입 방법: AX 추진 단계·로드맵 가이드, 온프레미스 구축은 사내 AI 구축 방법: 온프레미스 LLM·RAG 구축 비용과 단계에서 이어서 볼 수 있습니다.
AI 에이전트 보안 위험: 도입 전에 막아야 할 4가지
AI 에이전트는 행동을 하기 때문에, 잘못되면 '틀린 답'이 아니라 '잘못된 실행'으로 이어집니다. OWASP Top 10 for LLM Applications 2025도 프롬프트 인젝션(LLM01)과 과도한 권한·자율성(Excessive Agency, LLM06)을 주요 위험으로 꼽습니다.
| 위험 | 어떻게 일어나나 | 대응 |
|---|---|---|
| 프롬프트 인젝션 | 문서·메일·웹페이지에 숨긴 지시를 에이전트가 따라 실행 | 입력·출력 가드레일, 외부 콘텐츠와 지시 분리 |
| 과도한 권한 | 필요 이상의 도구·데이터 권한으로 피해 범위가 커짐 | 최소 권한, 읽기/쓰기 분리, 중요 행동 승인 |
| 외부 도구(MCP) 연결 | 검증되지 않은 도구 서버나 도구 설명문에 숨은 지시 | 허용된 도구만 연결, 도구 호출 로그·검토 |
| 데이터 유출 | 개인정보·기밀이 응답이나 외부 호출로 빠져나감 | 개인정보 마스킹, 외부 전송 차단 정책 |
금융보안원의 AI 에이전트 보안 위협과 평가 기준
국내 금융권에서도 같은 위험을 다루고 있습니다. 금융보안원은 2025년 6월 AI 에이전트의 주요 보안 위협으로 외부 데이터에 숨은 지시로 에이전트를 조종하는 공격과 도구 설명 조작 등을 공개하고, 의사결정 기록·추적, 사람의 검토·승인, 최소 권한, 실시간 모니터링을 대응으로 제시했습니다. 2026년 10월에는 금융분야 AI 에이전트 보안 평가 기준(안)을 마련해, 점검 범위를 모델(탈옥, 시스템 프롬프트 유출)에서 실행 계층(실행 권한·격리, 도구 실행 승인 통제, 자율 실행 제한·중단)까지 넓히겠다고 밝혔습니다. 기준은 초안 단계로 보도되었으므로 최종 내용은 금융보안원 공식 발표를 확인하세요.
위험별 자세한 대응은 다음 글에서 정리했습니다.
- AI 에이전트 보안 모범 사례: 위협, 권한·인증 관리와 침해 방지
- AI 에이전트 권한 관리: 최소 권한 원칙으로 오남용 막는 방법
- AI 에이전트 인증 관리 모범 사례: API 호출 인증·인가(AuthZ) 설계
- LLM 가드레일 구축 가이드: 프롬프트 인젝션 방어와 레드팀 테스트
에이전트의 입력과 출력을 한곳에서 검사하려면 KYRA AI Guardrail(AI 가드레일 솔루션)처럼 LLM 앞단에서 프롬프트 인젝션을 차단하고 개인정보를 마스킹하는 계층을 두는 방법이 있습니다.
한눈에 정리
- AI 에이전트란 목표를 받아 스스로 계획하고 도구를 호출해 작업을 끝내는 LLM 기반 소프트웨어입니다.
- 챗봇은 답을 만들고, AI 에이전트는 행동을 합니다. 에이전틱 AI는 그런 동작 방식을 가리키는 말입니다.
- 구성 요소는 LLM·계획·도구·메모리이며, 도구 연결에는 MCP, 에이전트 간 통신에는 A2A가 쓰입니다.
- 종류는 자율성(보조형·반자율·자율), 구성(단일·멀티 에이전트), 업무별로 나눌 수 있습니다.
- 기업 도입의 핵심은 최소 권한, 중요 행동의 사람 승인, 입력·출력 가드레일입니다.
자주 묻는 질문
AI 에이전트 뜻을 한 줄로 설명하면?
목표를 주면 LLM이 스스로 계획을 세우고 도구를 호출해 작업을 끝내는 소프트웨어입니다.
AI 에이전트와 챗봇은 무엇이 다른가요?
챗봇은 답변을 만들고, AI 에이전트는 도구를 써서 실제 작업을 실행합니다. 그래서 에이전트에는 권한 관리와 승인 절차가 함께 필요합니다.
에이전틱 AI와 AI 에이전트는 같은 말인가요?
비슷하지만 다릅니다. 에이전틱 AI는 AI가 스스로 계획하고 실행하는 방식을 뜻하고, AI 에이전트는 그 방식으로 동작하는 개별 소프트웨어를 뜻합니다.
AI 에이전트를 만들려면 무엇부터 해야 하나요?
업무 하나를 정하고, 그 업무에 필요한 도구(API)와 데이터 범위를 먼저 정의합니다. 그다음 노코드 플랫폼이나 LangGraph·CrewAI 같은 프레임워크를 고르고, 사람 승인 단계를 둔 채 작은 범위에서 시작하는 것이 안전합니다.
AI 에이전트와 MCP는 어떤 관계인가요?
MCP는 AI 에이전트가 외부 도구·데이터에 접속하는 표준 방식입니다. 에이전트가 쓸 수 있는 도구를 늘려 주지만, 연결된 도구가 많을수록 권한과 도구 검증 관리가 중요해집니다.
멀티 에이전트는 언제 필요한가요?
조사·작성·검토처럼 역할이 뚜렷하게 나뉘는 복잡한 작업일 때 유리합니다. 에이전트 수가 늘수록 통제 지점도 늘어나므로, 단일 에이전트로 시작해 필요할 때 나누는 편이 좋습니다.
기업이 AI 에이전트를 도입할 때 가장 먼저 챙길 보안은?
최소 권한, 중요 행동의 사람 승인, 입력·출력 가드레일입니다. 이 세 가지가 있으면 프롬프트 인젝션이 일어나도 피해 범위를 크게 줄일 수 있습니다.
