Agentic AI 위협

■ Agentic AI 위협

📌 개요

생성형 AI와 Agentic AI의 등장은 사이버 보안 환경에 근본적인 변화를 가져오고 있다. 기존의 AI가 사용자의 질문에 답변을 생성하는 수준이었다면, Agentic AI는 목표를 스스로 설정하고 계획을 수립하며 실제 행동을 수행할 수 있는 자율성을 갖추고 있다. 이러한 특성은 업무 생산성과 자동화 수준을 크게 향상시키는 반면, 공격자에게는 새로운 형태의 강력한 공격 수단을 제공하고 있다.

특히 AI는 공격 대상 조사부터 공격 코드 생성, 사회공학 공격, 내부망 확산에 이르기까지 공격 전 과정을 자동화할 수 있으며, 공격 성공률 또한 크게 향상시키고 있다. 과거에는 숙련된 해커 집단만 수행할 수 있었던 정교한 공격이 이제는 AI 기반 도구를 활용하는 일반 공격자에게도 가능해지면서 사이버 범죄의 진입장벽이 급격히 낮아지고 있다.

이에 따라 기업은 기존 보안 체계의 한계를 인식하고 AI 시대에 적합한 보안 전략과 운영 체계를 마련해야 하는 상황에 직면해 있다.

📌 변화된 위협 환경

AI는 단순한 새로운 공격 도구가 아니라 사이버 공격의 패러다임 자체를 변화시키고 있다.

공격자는 AI를 활용하여 공개 정보(OSINT)를 대규모로 분석함으로써 조직의 구조와 핵심 인물을 빠르게 파악할 수 있다. 수집된 정보는 개인별 특성과 업무 상황을 반영한 초개인화 피싱 공격에 활용되며, 생성형 AI는 자연스럽고 설득력 있는 이메일, 메신저, 음성 및 영상 콘텐츠를 자동 생성할 수 있다.

또한 AI는 악성코드 개발 영역에서도 큰 변화를 만들고 있다. 실행 시마다 코드를 변경하는 폴리모픽(Polymorphic) 및 메타모픽(Metamorphic) 악성코드는 기존 시그니처 기반 보안 솔루션을 우회할 수 있으며, AI는 이러한 코드를 자동으로 생성하고 최적화할 수 있다. 공격 성공 이후에는 내부망 확산과 중요 정보 선별 작업까지 AI가 수행하면서 공격자의 생산성을 극대화하고 있다.

더불어 FraudGPT, WormGPT 등 범죄 목적의 악성 AI 모델이 등장하면서 공격용 AI의 서비스화(AS-A-SERVICE)가 진행되고 있으며, 국가 지원 해킹 조직 역시 AI를 정보수집, 취약점 분석, 공격 코드 생성 등에 적극 활용하고 있다.

📌 주요 보안 사고 사례

최근 발생한 다양한 사례들은 AI 위협이 이미 현실화되었음을 보여준다.

대표적인 사례는 2024년 홍콩 Arup에서 발생한 딥페이크 기반 금융 사기 사건이다. 공격자는 CFO와 임원진을 딥페이크 영상으로 구현한 화상회의를 통해 재무 담당 직원을 속였으며, 그 결과 약 350억 원 규모의 자금이 공격자 계좌로 송금되었다. 이 사건은 AI가 인간의 시각적·청각적 신뢰를 동시에 악용할 수 있음을 보여준 대표적 사례로 평가된다.

AI 기반 악성코드 역시 새로운 위협으로 부상하고 있다. BlackMamba는 실행 시점마다 새로운 악성코드를 생성하여 기존 백신 탐지를 우회하며, PromptLock은 생성형 AI를 공격 벡터로 활용하는 랜섬웨어 개념을 제시하였다.

또한 Gemini의 간접 프롬프트 인젝션 취약점 사례는 AI가 외부 입력을 제대로 검증하지 못할 경우 기업 내부 정보가 유출될 수 있음을 보여주었다. OpenClaw 사례에서는 AI 에이전트가 과도한 권한을 보유한 상태에서 사용자의 의도와 무관한 행동을 수행하며 보안 위험을 초래하였다.

이 외에도 북한 연계 조직이 AI를 활용해 가짜 경력과 신원을 생성하여 해외 기업에 취업하거나, 중국과 이란의 APT 그룹이 생성형 AI를 공격 활동 전반에 활용하는 사례가 보고되고 있다.

📌 기업에 미치는 영향

AI 기반 공격은 단순한 보안 사고를 넘어 기업의 재무적·운영적·평판적 리스크로 확대되고 있다.

재무 영역에서는 딥페이크와 BEC(Business Email Compromise) 공격을 통해 직접적인 금전 피해가 발생할 수 있으며, 운영 측면에서는 생산 설비나 핵심 업무 시스템의 장애를 유발할 수 있다. 또한 데이터 포이즈닝(Data Poisoning) 공격은 AI 모델의 의사결정 결과를 왜곡하여 잘못된 비즈니스 판단을 유도할 수 있다.

특히 기존 보안 체계의 한계가 점차 명확해지고 있다. 시그니처 기반 보안 솔루션은 AI가 생성하는 새로운 변종 공격을 탐지하는 데 한계가 있으며, 기존 보안 인식 교육 역시 딥페이크나 고도화된 사회공학 공격에 충분히 대응하지 못하고 있다.

또한 임직원이 사용하는 외부 AI 서비스(Shadow AI)는 새로운 정보 유출 경로를 만들고 있으며, AI를 활용한 내부자 위협 역시 증가할 가능성이 높다.

📌 대응 전략

① 제로 트러스트 아키텍처 확립

AI 시대의 보안은 "절대 신뢰하지 않고 항상 검증한다(Never Trust, Always Verify)"는 원칙을 기반으로 해야 한다.

모든 사용자와 기기에 대한 지속적인 신원 검증이 필요하며, 최소 권한 원칙과 Just-In-Time 접근 통제를 적용하여 계정 탈취 시 피해를 최소화해야 한다. 또한 네트워크를 세분화하는 마이크로세그멘테이션을 통해 내부 확산을 차단해야 한다.

② AI 중심의 보안 운영 체계 구축

AI 기반 공격에 대응하기 위해서는 보안 운영 역시 AI 중심으로 재편되어야 한다.

SIEM, XDR, SOAR를 통합한 보안 운영 체계를 구축하여 로그 수집, 위협 분석, 자동 대응을 수행해야 하며, AI 기반 위협 인텔리전스를 활용해 새로운 공격 기법을 선제적으로 탐지해야 한다.

또한 NG-EPP, AI 기반 이메일 보안, AI Firewall, AI 기반 샌드박스 등 차세대 보안 기술을 적극 활용하여 새로운 AI 위협에 대응해야 한다.

③ 인간 방화벽(Human Firewall) 강화

AI 사회공학 공격은 사람의 심리적 취약점을 직접 공략하기 때문에 임직원의 대응 역량 강화가 필수적이다.

이를 위해 딥페이크 체험형 교육, 최신 AI 공격 사례 기반 실습 훈련, 심리적 회복탄력성 강화 교육 등을 정기적으로 실시해야 한다. 또한 중요 업무에 대해서는 반드시 전화나 대면 확인을 통한 대역 외 검증(Out-of-Band Verification)을 수행하도록 제도화해야 한다.

④ AI 거버넌스 및 관리 체계 구축

기업은 AI 모델과 AI 에이전트에 대한 체계적인 관리 체계를 구축해야 한다.

AI 자산 인벤토리를 운영하여 사용 중인 AI 모델과 에이전트를 파악하고, 권한, 학습 데이터, 활용 목적을 관리해야 한다. 또한 Shadow AI 사용을 통제하기 위해 DLP, CASB 등의 솔루션을 활용하고, AI 특화 사고 대응 플레이북을 마련하여 신속한 대응 체계를 구축해야 한다.

📌 결론

Agentic AI는 기업의 혁신과 생산성을 획기적으로 향상시킬 수 있는 기술이지만 동시에 기존 보안 체계를 무력화할 수 있는 새로운 위협을 만들어내고 있다. 공격자들은 AI를 활용해 공격 자동화, 딥페이크 기반 사회공학 공격, 탐지 회피형 악성코드 생성, AI 에이전트 악용 등 기존과 차원이 다른 공격을 수행하고 있다.

이러한 환경에서 기업은 단순히 새로운 보안 솔루션을 도입하는 수준을 넘어 보안 전략 자체를 AI 시대에 맞게 재설계해야 한다. 제로 트러스트 기반 아키텍처, AI 기반 보안 운영 체계, 인간 방화벽 강화, AI 거버넌스 구축은 더 이상 선택이 아닌 필수 과제가 되었다.

결국 AI 보안은 비용이 아닌 기업의 미래 경쟁력을 결정하는 전략적 투자이다. 향후 기업의 경쟁력은 AI를 얼마나 적극적으로 활용하는지가 아니라, AI를 얼마나 안전하게 관리하고 통제할 수 있는지에 의해 결정될 것이다.

SK쉴더스 화이트해커 그룹 EQST의 최신 보안 인사이트가 담긴 EQST insight 전문이 궁금하다면, ‘더 알아보기’를 클릭해보세요!

👉 더 알아보기: https://www.skshieldus.com/report/eqstInsight/headline2607.html

✅EQST(이큐스트)는 ‘Experts, Qualified Security Team’ 이라는 뜻으로 사이버 위협 분석 및 연구 분야에서 검증된 최고 수준의 보안 전문가 그룹입니다.