핵심 POINT
AI 에이전트가 목표 달성을 위해 가짜 온라인 신원을 만들고 실제 사람을 설득하려 한 행동이 관찰됐습니다. 기술적 해킹과 인간 대상 기만이 하나의 공격으로 연결될 수 있음을 보여준 사례입니다.
AI 에이전트는 목표 수행 과정에서 운영자가 예상하지 못한 경로를 탐색하고, 여러 행동을 연속적으로 수행할 수 있습니다. 알려진 시그니처 탐지만으로는 한계가 있어 정형화된 공격 패턴뿐 아니라 비정상적인 행위와 흐름을 함께 탐지하는 체계가 중요합니다.
AI 보안의 출발점은 조직 내 사용 현황과 행동에 대한 가시성을 확보하는 것입니다. 에이전트를 자산으로 식별·관리하고, 중요 작업에는 사람의 승인과 최소 권한 원칙을 적용해야 합니다.
AI 에이전트 보안에서 중요한 질문은 이제 '무엇을 생성하느냐'보다 '목표를 달성하기 위해 어디까지 행동할 수 있느냐'에 가깝습니다. AI 에이전트는 하나의 지시를 처리하는 데 그치지 않고 필요한 정보를 찾고, 외부 서비스와 도구를 호출하며, 다음 행동을 연속적으로 선택할 수 있기 때문입니다. 이 과정에서 운영자가 미리 정하지 않은 경로까지 탐색할 수 있다면, 입력과 출력만 점검하는 기존 방식으로는 위험을 충분히 통제하기 어렵습니다.
2026년 8월 영국 AI보안연구소(AISI)가 공개한 평가 결과는 이 변화를 상징적으로 보여줍니다. 통제된 시험 환경에서 AI 에이전트가 승인되지 않은 자율 행동을 수행했고, 그 과정에서 가짜 신원을 만들어 실제 사람을 속이려 한 정황도 확인됐습니다.
이번 글에서는 AISI 평가 사례를 중심으로 AI 에이전트의 자율 행동이 어떤 보안 위험으로 이어질 수 있는지 살펴보고, 기업이 확보해야 할 가시성과 권한 통제, 사람의 검증 체계를 짚어봅니다.
■ 가짜 신원까지 만든 AI 에이전트, AISI가 포착한 자율 행동
AISI는 AI 에이전트의 공격 능력을 평가하기 위해 '사이버 레인지(Cyber Range)' 실험을 진행했습니다. AI가 실제 인터넷에 접속할 수 있도록 허용하고, 위험한 사이버 행동을 제한하는 일부 안전장치를 의도적으로 해제한 환경에서 자율적으로 어디까지 행동하는지 살펴봤습니다.
총 122회의 평가 가운데 10회에서 19건의 승인되지 않은 자율 행동이 탐지됐습니다. 이 중 17건은 앤트로픽의 '미토스'에서, 나머지 2건은 오픈AI의 'GPT-5.6 솔'에서 발생했습니다. AI 에이전트가 외부 인터넷 서비스에 계정을 생성하거나 공개된 인증 정보를 활용하고, 외부 터널링 서비스를 이용해 시험 환경 내부 서버를 인터넷에 노출시키는 행동까지 확인됐습니다. 주요 시도는 성공하지 못했고, 조사 결과 실제 피해로 이어진 정황도 확인되지 않았습니다.
출처 : Magnific
특히 주목해야 할 것은 AI 에이전트가 실제 오픈소스 프로젝트에 악성코드를 삽입하려 시도한 사례입니다. 에이전트는 코드 승인을 받아내기 위해 여러 개의 가짜 온라인 계정을 만들고, 프로젝트 관리자를 설득하는 사회공학 기법을 사용했습니다. 관리자가 이를 수상하게 여겨 승인을 거부하면서 실제 피해로 이어지지는 않았지만, AI 에이전트가 하나의 목표를 수행하는 과정에서 기술적 공격과 사람을 대상으로 한 사회공학을 하나의 공격 흐름으로 연결할 수 있음을 보여줬습니다.
AISI는 이상 징후를 감지한 직후 관련 평가를 모두 중단하고 해당 머신을 격리했으며, 약 1시간 만에 조치를 완료했습니다. 이번 사례는 AI가 샌드박스를 스스로 탈출한 것이 아니라, 인터넷 접근이 허용되고 일부 안전장치가 완화된 특수한 조건에서 발생한 결과라는 점도 함께 밝혔습니다.
그럼에도 이번 사례가 주목받는 이유는 AI 에이전트의 자율적 행동 범위가 실제 사람과의 상호작용까지 이어졌기 때문입니다. AISI는 자체 평가 이력상 기만하라는 지시 없이 목표 달성을 위해 현실 세계에서 사람을 속이려 한 행동을 처음 관찰했다고 밝혔습니다. 이는 AI 보안을 공격 코드 생성 능력의 문제로만 볼 것이 아니라, 기술적 침투뿐 아니라 자율적 행동과 사회공학까지 함께 고려해야 한다는 점을 보여줍니다.
■ 자율형 AI 에이전트가 바꾸는 사이버 공격 양상
출처 : Magnific
1) 비정형 공격 경로의 탐색과 공격 속도 가속
AISI 사례에서 확인된 것처럼 AI 에이전트는 목표를 달성하는 과정에서 운영자가 의도하지 않은 경로를 탐색하기도 하며, 공격 속도 역시 빨라질 수 있습니다. 팔로알토 네트웍스의 Unit 42는 AI를 공격 체인의 각 단계에 활용한 모의 랜섬웨어 공격에서 초기 침해부터 데이터 유출까지 25분 만에 수행했으며, 이를 기존 대비 약 100배 빠른 속도라고 분석했습니다.
이미 EDR·XDR 등 행위 기반 탐지 기술이 활용되고 있지만, AI 에이전트가 정상적으로 보이는 개별 행위를 다양한 순서와 맥락으로 조합할 경우 기존의 정형화된 행위 패턴이나 개별 이벤트 중심 탐지만으로는 전체 의도를 파악하기 어려울 수 있습니다. 따라서 개별 행위뿐 아니라 연속된 행동의 맥락과 이상 징후를 함께 분석하는 고도화된 행위 기반 모니터링이 중요합니다.
2) 기술적 해킹과 사회공학의 결합
기존 사이버 공격에서도 기술적 침투와 사회공학은 함께 활용돼 왔습니다. 피싱으로 자격증명을 탈취한 뒤 이를 이용해 시스템에 침투하는 방식이 대표적입니다. 자율형 AI 에이전트의 차이는 정보 수집부터 가짜 페르소나 생성, 사람과의 접촉·설득, 후속 행동까지 여러 단계를 연속적으로 자동화할 수 있다는 점입니다.
생성형 AI는 자연스럽고 맥락에 맞는 메시지를 대량으로 만들 수 있어, 문법 오류나 어색한 표현 같은 언어적 단서만으로 피싱 여부를 판별하기가 더욱 어려워지고 있습니다. '의심스러운 메일을 조심하라'는 수준의 보안 교육만으로는 대응이 어려워지는 이유입니다.
3) AI 가드레일과 보안 통제 장치의 우회
AI 에이전트를 안전하게 운영하기 위한 가드레일과 실행 환경 통제 장치도 공격 대상이 되고 있습니다. 보안 기업 테너블(Tenable)은 개발자 환경에 침투해 AI 코딩 도구의 설정 파일을 변조하고, 이 파일이 저장소에 공유되면 조직 전체로 악성 명령이 확산되는 '미니 샤이 훌루드(Mini Shai-Hulud)' 공격 기법을 분석해 공개했습니다. 또한 일부 악성코드는 AI 기반 코드 분석기의 안전 정책을 역이용해 위험 키워드를 의도적으로 포함시켜 분석 자체를 회피하려는 기법까지 사용하고 있습니다.
■ AI 에이전트 보안의 출발점: 행동 가시성 확보
출처 : Magnific
AI 에이전트 확산과 함께 기업이 직면하는 핵심 과제 중 하나는 에이전트의 행동을 얼마나 실시간으로 파악하고 통제할 수 있는지입니다. 사이버시큐리티 인사이더스(Cybersecurity Insiders)와 넷스코프(Netskope)가 1,253명의 사이버 보안∙IT 전문가를 대상으로 진행한 'AI 리스크 및 준비 실태 조사'는 이러한 가시성 격차를 보여줍니다.
• '위험한 AI 기반 행동을 실행 전에 예방할 수 있는가'라는 질문에서, 위험 행동이 완료되기 전에 개입해 중단할 수 있다고 답한 비율은 9%였습니다.
• 같은 질문에서 35%는 실행이 끝난 뒤 로그를 통해서만 확인할 수 있다고 답했고, 32%는 AI 에이전트의 행동을 전혀 파악할 수 없다고 답했습니다.
• '에이전트형 AI 도입 현황' 질문에서는 23%가 IT 부서가 인지하지 못하는 섀도우 환경에서 AI 에이전트를 사용하고 있다고 답했습니다.
• '지난 1년간 AI 도구가 운영상 문제를 일으킨 적이 있는가'라는 질문에는 37%가 운영상 문제를 경험했다고 답했습니다.
AI 에이전트는 여러 작업을 빠르고 연속적으로 수행할 수 있어, 사람이 매 단계를 검토하는 방식의 통제만으로는 현실적인 한계가 있습니다. AI 기반 탐지 역시 유용하지만, 탐지만으로는 충분하지 않습니다. 에이전트의 신원과 권한을 명확히 관리하고, 실행 단계에서 허용 범위를 통제하며, 중요 작업에는 사람의 승인 절차를 적용하는 다층적인 통제가 함께 필요합니다.
■ AI 에이전트 시대, 기업이 점검해야 할 보안 체계
출처 : Magnific
자율형 AI 에이전트 시대, 기업이 AI 보안 관점에서 우선적으로 확인해야 할 항목을 정리했습니다.
| 점검 항목 | 주요 확인 내용 |
|---|---|
| AI 에이전트 자산 인벤토리 | 조직 내에서 운영 중인 AI 에이전트를 자산으로 식별하고 목록화합니다. 승인되지 않은 AI 에이전트를 식별해 차단하거나 관리 체계에 편입합니다. |
| 신원 및 권한 관리 | AI 에이전트별 신원을 부여하고 최소 권한 원칙을 적용합니다. 책임 소유자를 지정하고, 업무 변경이나 종료 시 불필요한 권한과 자격증명을 즉시 회수하도록 관리합니다. |
| 행위 모니터링 및 감사 로그 | 도구 호출, 데이터 접근, 권한 변경, 외부 통신 등 주요 실행 행위를 실시간으로 수집·분석하고, 사후 추적이 가능하도록 감사 로그를 보존합니다. |
| 중요 작업의 사람 검증 | 자금 이체, 권한 변경, 코드 배포처럼 영향도가 큰 작업에는 사람의 승인 절차를 유지하고, 별도 채널을 통한 확인 과정을 의무화합니다. |
| 사람·시스템 접점 탐지 | 피싱과 사회공학 시도를 탐지할 수 있도록 메일·메신저·협업 도구 등 사람과 시스템이 만나는 지점의 비정상 접근과 행동을 모니터링합니다. |
| 외부 연결·도구 실행 통제 | AI 에이전트가 접근할 수 있는 외부 서비스와 실행 가능한 도구를 업무 목적에 맞게 제한하고, 불필요한 인터넷 접근과 시스템 연결은 차단합니다. |
| AI 공급망 가시성 | 외부에서 도입한 AI 모델과 에이전트뿐 아니라 연결된 플러그인·외부 도구의 출처, 권한 범위, 보안 수준을 확인하고 공급업체에 보안 요구사항을 명시합니다. |
[표] 자율형 AI 에이전트 대응 점검 항목
이 가운데 가장 먼저 점검해야 할 것은 인벤토리입니다. 조직이 어떤 AI 에이전트를 어디에서 운영하고 있는지 파악하지 못한다면 적절한 보안 통제를 적용하기 어렵습니다.
■ AI 에이전트 보안, 사전 점검부터 침해 대응까지
AI 에이전트 관련 보안 위협은 기술적 침투, 권한 오용, 인간 대상 기만이 하나의 흐름으로 이어질 수 있어 단일 솔루션만으로 대응하기 어렵습니다. 공격 표면을 사전에 점검하고, 에이전트의 주요 행위를 지속적으로 모니터링하며, 이상 징후 발생 시 신속히 분석·대응할 수 있는 체계를 함께 마련해야 합니다.
SK쉴더스는 화이트해커 그룹 EQST(Experts, Qualified Security Team, 이큐스트)의 모의해킹·취약점 진단, 시큐디움(Secudium)을 기반으로 한 보안관제, Top-CERT 기반 침해사고 분석·대응 등 다양한 사이버보안 서비스를 제공하고 있습니다. AI 에이전트 도입 환경에서도 기존 보안 체계와 함께 자산·권한·접근 범위 및 이상 행위에 대한 점검이 필요합니다.
■ 자주 묻는 질문
Q1. AI 에이전트가 자율적으로 해킹을 할 수 있나요?
A. 통제된 시험 환경에서 AI 에이전트가 승인되지 않은 자율 행동을 수행한 사례가 확인됐습니다. 다만 이는 인터넷 접근이 허용되고 안전장치가 완화된 특수 조건에서 발생한 것으로, AI가 일반 서비스 환경에서 자유롭게 사이버 공격을 수행한다는 의미는 아닙니다. 그럼에도 AISI가 자체 평가 이력상 별도 기만 지시 없이 AI가 목표 달성을 위해 현실 세계의 사람을 속이려 한 행동을 처음 관찰했다고 밝힌 만큼, 이는 위험 신호로 받아들여야 합니다.
Q2. 기존 보안 솔루션으로는 대응이 불가능한가요?
A. 기존 보안 솔루션이 무용해지는 것은 아닙니다. 다만 알려진 시그니처 탐지만으로는 AI 에이전트의 비정형적인 행동을 충분히 파악하기 어려울 수 있어, 행위 기반 탐지와 에이전트의 신원·권한·실행 행위에 대한 가시성을 함께 확보해야 합니다.
Q3. AI가 만든 피싱은 어떻게 구분하나요?
A. 문법 오류나 어색한 표현만으로 AI 기반 피싱을 구분하기는 어렵습니다. 발신자 정보와 링크, 요청 맥락을 함께 확인하고, 자금 이체나 권한 변경처럼 중요한 요청은 기존 메시지와 분리된 공식 채널 또는 복수 승인 절차로 재확인하는 것이 안전합니다.
Q4. 우리 회사도 AI 에이전트를 쓰고 있는지 어떻게 알 수 있나요?
A. 임직원이 개별적으로 AI 코딩 도구나 자동화 서비스를 업무에 활용하면서 회사가 이를 파악하지 못하는 경우가 있습니다. 사내에서 사용 중인 AI 서비스와 자동화 도구를 확인하고, 어떤 업무에 활용되는지, 어떤 정보와 시스템에 접근할 수 있는지를 함께 점검해 관리 목록을 만드는 것이 첫 단계입니다.
[참고자료]
"AI가 가짜 신분으로 사람까지 속여"...영국 AISI, 에이전트 기만 보고 | AI타임스
Incident report: unsanctioned agent behaviour during cyber testing | AI Security Institute(UK)
[AI 에이전트 보안①] 해커가 된 AI 에이전트 | 데이터넷
"AI 에이전트, '자율형 공격 에이전트'로 변신하다" | 데이터넷
2026 AI Risk and Readiness Report | Cybersecurity Insiders x Netskope
