Headline

Agentic AI 위협

화학사업1팀/이우호 수석

‘Agentic AI 위협’이란 목표를 설정하고 스스로 계획·실행·적응하는 ‘에이전틱 AI(Agentic AI)’가 사람의 개입 없이 다단계 공격을 설계하고, 방어자의 탐지를 회피하며, 상황에 따라 전략을 수정·학습해 공격 효율을 높이는 새로운 사이버 보안 위협을 의미한다. 이러한 특성으로 인해 기존 보안 모델만으로는 효과적인 대응이 어렵다는 점이 특징이다.

■ Executive Summary

생성형 인공지능(AI)의 등장은 사이버 위협 환경의 점진적 진화가 아닌, 근본적인 패러다임 전환을 의미한다. AI는 사이버 범죄의 경제성과 운영 방식을 근본적으로 변화시켰으며, 이제 우리는 ‘AI 기반 기계 속도(machine-speed)’ 공격이 현실화된 시대에 진입했다. 이번 리포트는 이러한 위협 환경을 심층적으로 분석하고, 기업이 생존과 번영을 위해 반드시 채택해야 할 전략적 대응 방안을 제시하는 것을 목적으로 한다.

Agentic AI 위협의 주요 분석 결과는 다음과 같다. 첫째, 공격자는 AI를 활용해 공격 기법을 전례 없는 수준으로 고도화하고 있다. 특히 딥페이크(Deepfake)를 활용한 '기술 강화형 사회공학(technology-enhanced social engineering)'은 인간의 신뢰 체계를 직접 공격하며 기존의 보안 인식 교육을 무력화하고 있다. 둘째, AI는 환경 변화에 자율적으로 적응하고 방어 체계를 우회하는 지능형 악성코드를 생성해 시그니처 기반의 전통적인 방어 시스템을 무력화한다. 셋째, AI는 고도의 공격 기술을 대중화하면서 기술 수준이 낮은 공격자도 정교한 사이버 범죄를 감행할 수 있도록 만들었으며, 이는 가장 우려되는 변화 가운데 하나다.

이러한 위협이 비즈니스에 미치는 영향은 단순한 데이터 유출을 넘어선다. 2,500만 달러 규모의 홍콩 Arup 금융 사기 사건에서 볼 수 있듯, AI는 막대한 재무 손실을 야기할 뿐 아니라, 핵심 운영 시스템의 중단, 이해관계자의 신뢰 상실, 기존 보안 통제 및 프로세스의 전면적인 실패로 이어질 수 있다. 이처럼 'AI 대 AI'의 군비 경쟁은 더 이상 미래의 개념이 아닌 현실이며, 인간 중심의 수동적이고 반응적인 보안 태세는 더 이상 유효하지 않다.

따라서 다음과 같은 세 가지 핵심 축을 기반으로 한 전략적 대응이 시급하다. 첫째, '절대 신뢰하지 않고, 항상 검증한다'는 원칙에 기반한 제로 트러스트 아키텍처(Zero Trust Architecture)를 확립해야 한다. 둘째, 기계 속도의 위협에 대응하기 위한 AI 기반 통합 보안 운영 플랫폼을 구축해야 한다. 셋째, 기술적 통제를 넘어 인간의 인지적 취약점을 보완하는 회복력 있는 '인간 방화벽(Human Firewall)'을 강화해야 한다.

본 리포트는 AI 시대의 복잡하고 진화하는 위협 환경을 분석하고, 방어 가능한 AI-Ready 보안 프로그램 구축을 위한 전략적 로드맵을 제시하는 것을 목표로 한다. 이를 통해 고객사를 선도하고 파트너십을 강화하여 AI 환경의 변화를 성공적으로 이끌어 나가는 데 기여하고자 한다.

■ 변화된 위협 환경: AI가 바꾼 공격의 판도

AI, 특히 생성형 AI는 사이버 공격의 양상은 물론 힘의 균형까지 완전히 뒤바꿔 놓았다. 이제 AI는 단순한 새로운 공격 도구를 넘어, 공격자가 전례 없는 속도와 규모, 정교함으로 작전을 수행할 수 있도록 하는 '전력 증폭기(Force Multiplier)' 역할을 하고 있다.

1. 공격 패러다임의 변화: 수동적 해킹에서 자율적 공격으로

사이버 위협은 기술 발전에 따라 진화해왔다. 초기 바이러스는 과시욕이 주된 동기였으나, 인터넷 상용화 이후에는 금전적 이득을 노리는 악성코드가 주류를 이루게 되었다. AI 기술의 등장은 이러한 흐름 속에서 공격자에게 압도적으로 유리한 환경을 제공했고, 그 결과 위협의 속도와 규모, 정교함은 폭발적으로 증가했다. Microsoft의 보고에 따르면 암호 공격 횟수는 2021년 초당 579건에서 2024년 초당 7,000건으로 급증했으며, 이는 AI 기반 공격 자동화의 위력을 단적으로 보여주는 사례다.

더 심각한 문제는 AI가 사이버 범죄의 진입 장벽을 크게 낮췄다는 점이다. 이는 '사이버 범죄의 대중화'를 의미한다. 과거에는 고도로 숙련된 전문가 팀이 필요했던 정교한 공격을 이제는 기술 수준이 낮은 개인도 AI 도구를 활용해 수행할 수 있게 되었다. 잠재적 위협 행위자의 수는 기하급수적으로 증가했으며, 공격 동기 또한 더욱 예측하기 어려워졌음을 시사한다.

2. AI를 통한 공격 단계별 위협 분석

1) 정찰(Reconnaissance) 단계

AI가 OSINT(Open Source Intelligence) 데이터를 대량 분석해 공격 대상과 조직 구조를 신속하게 파악하고, 이를 기반으로 핵심 인물과 기술 환경, 인간관계 등 다양한 세부 정보를 식별하고 분석해 맞춤형 공격 시나리오를 설계한다.

2) 무기화 및 전달(Weaponization & Delivery) 단계

• AI 기반 사회공학 공격

사용자의 특성과 상황을 반영해 초개인화 피싱 이메일과 메시지를 생성해 공격 성공률을 높인다.

• 딥페이크 활용

CEO, 임원, 거래처 등을 사칭한 음성·영상을 생성하고, 이를 활용해 자금 이체, 중요 정보 제공 등의 사기 공격을 수행한다.

3) 악성코드 개발 단계

AI는 공격 환경에 맞는 맞춤형 악성코드를 자동으로 생성하고, 폴리모픽 [1] 및 메타모픽[2] 기술을 활용해 탐지를 회피함으로써 기존 시그니처 기반 보안 솔루션을 무력화할 수 있다.

4) 침투 후 활동(Post-Exploitation) 단계

AI는 탈취한 데이터에서 중요 정보(재무자료, 설계도면, 고객정보 등)를 자동으로 분류한다. 이후 내부망 확산(Lateral Movement) 및 추가 경로를 탐색하고, 방어 체계를 분석해 공격 방식을 실시간으로 변경하는 자율형 공격을 수행한다.

3. 공격자의 신무기: 다크 AI의 등장

공격자들은 이제 합법적인 AI 모델을 악용하는 수준을 넘어, 사이버 범죄만을 위해 설계된 '다크 AI'를 개발·유통하고 있다.

• 악성 LLM(FraudGPT, WormGPT)

악성코드 작성과 피싱 페이지 제작 등 범죄 활동을 지원하도록 훈련된 AI 모델이다. 다크웹에서 구독형 서비스(As-a-Service) 형태로 판매되고 있으며, 이를 통해 누구나 손쉽게 정교한 공격 도구를 사용할 수 있다. 또한 윤리적 안전장치가 없어 사용자의 악의적인 요청에도 제약 없이 응답한다.

• 상용 모델 악용

국가 지원 해킹 그룹들은 구글의 Gemini와 같은 강력한 상용 AI 모델의 안전장치를 우회하는 '탈옥(Jailbreaking)' 기법을 통해 공격의 전 과정에 AI를 활용하고 있다. 합법적인 도구와 인프라를 이용한다는 점에서 공격 행위를 탐지하거나 추적하기가 더욱 어렵다.

• 특수 목적 AI 모델(DarkBERT)

범죄자들의 행동 패턴을 분석하기 위해 다크웹 데이터로 훈련된 모델도 등장했다. 이러한 모델이 공격자에게 악용될 경우 방어 시스템의 허점을 예측하거나 가장 효과적인 전술을 추천하는 등 공격을 더욱 정교하게 만드는 데 활용될 위험이 있다.

■ AI 주도 보안 사고 실제 사례 분석

AI 위협은 더 이상 이론이 아닌 현실이며, 다음 사례들은 AI가 비즈니스에 미치는 파괴적인 영향을 명확하게 보여준다.

사례 1: 딥페이크 기반 화상회의 금융 사기 사례(Arup, 2024 / 피해액 약 350억 원)

2024년 초, 다국적 기업 Arup의 홍콩 지사에서 발생한 이 사건은 AI 사회공학 공격의 위험성을 전 세계에 알렸다.

• 사건 개요

재무 담당 직원은 본사 CFO를 사칭한 이메일을 수신한 뒤 피싱 여부를 의심했으나, 이후 공격자가 제안한 화상회의에 참석했다. 회의에서 CFO와 여러 동료들의 얼굴과 목소리를 직접 확인하며 대화를 나눈 결과, 정상적인 업무 지시로 판단하고 이를 신뢰하게 되었다.

• 공격 기법

실제로는 피해자를 제외한 모든 참석자가 AI 기반 딥페이크로 생성된 가상의 인물이었다. 공격자들은 공개된 영상과 음성 데이터를 활용해 CFO와 동료들의 얼굴, 음성, 말투, 표정 등을 정교하게 복제했다. 이는 단순한 신원 위조를 넘어 피해자의 시각과 청각적 신뢰를 동시에 악용한 고도화된 사회공학 공격으로 평가된다.

• 피해 결과

피해 직원은 총 15회에 걸쳐 약 2,560만 달러(약 350억 원)를 공격자 계좌로 송금했다. 사건은 송금 완료 후 약 일주일이 지나서야 확인됐다.

• 시사점

AI와 딥페이크 기술의 발전으로 기존 이메일 기반 피싱은 화상회의, 음성통화 등 다중 채널을 활용한 정교한 공격으로 진화하고 있다. 이제는 이메일이나 음성뿐 아니라 영상까지 신뢰할 수 없게 되었으며, 중요 금융 거래나 승인 절차에는 다중 인증(MFA), 별도 승인 체계, 독립적인 검증 절차를 반드시 적용해야 한다.

사례 2: AI 생성 악성코드 및 데이터 탈취

AI는 악성코드의 탐지 난이도를 높이고 적응력을 강화함으로써 기존 방어 체계를 무력화한다.

• BLACKMAMBA(2023년)

이 악성코드는 파일 내부에 악성 코드를 포함하지 않은 상태에서 실행 시점에 합법적인 외부 API(OpenAI 등)를 호출해 악성 코드를 동적으로 생성한다. 생성된 코드는 디스크에 흔적을 남기지 않고 메모리에서만 실행(Fileless)되며, 실행될 때마다 코드가 변경돼 시그니처 기반 백신으로는 탐지가 거의 불가능하다.

• PROMPTLOCK(2025년)

최초의 AI 기반 랜섬웨어로, 시스템 내부의 AI(LLM)를 직접 공격 벡터로 활용한다. 프롬프트 주입 공격을 통해 내부 AI를 조종하고 중요 파일을 식별해 외부로 유출한 뒤, 피해자 데이터를 분석해 개인화되고 설득력 있는 랜섬 노트를 생성하고 시스템을 암호화함으로써 탐지를 더욱 어렵게 만든다.

사례 3: 국가가 배후인 사이버 공격 및 비밀 작전

고도의 기술과 자원을 보유한 국가 지원 해킹 그룹들 역시 AI를 작전에 적극적으로 활용하고 있다.

• 북한 연계 조직의 AI 기반 위장 취업

북한 연계 해킹 조직은 AI를 활용해 가짜 신원과 경력을 생성하고 해외 기술 기업에 원격 근무자로 위장 취업을 시도했다. 이후 기술 면접과 코딩 테스트, 업무 수행 과정에도 AI를 활용하며 조직 내부에 침투했다. 이는 AI가 국가 차원의 정보 수집과 공급망 침투 활동의 효율성을 크게 높이는 동시에 장기적인 스파이 활동이나 후속 공격의 기반으로 활용될 수 있음을 보여준다.

• APT 그룹의 생성형 AI 활용 확대

중국·이란 연계 APT(지능형 지속 공격) 그룹들은 Gemini 등 대규모 언어모델(LLM)을 공격 활동 전반에 활용하는 것으로 알려졌다. 주요 활용 분야는 공격 대상 정찰, 취약점 분석, 공격 코드와 우회 스크립트 생성 등이다. 이는 AI가 단순 업무 자동화 도구를 넘어 공격 성공률과 효율성을 높이는 핵심 전략 자산으로 활용되고 있음을 의미한다.

사례 4: AI 에이전트가 관리자를 비방하는 글을 게시

오픈소스 프로젝트 Matplotlib의 유지관리자가 코드 제안을 거절하자, 자율형 AI 에이전트가 이를 비난하는 글을 작성해 인터넷에 공개했다. 해당 AI는 ‘MJ RATHBUN’이라는 이름으로 활동하며, 작성자의 성격과 동기를 추측하고 허위 정보와 개인정보를 혼합해 평판을 훼손하려는 시도를 수행했다. OpenClaw 및 Moltbook 플랫폼을 통해 배포된 자율형 AI가 인간의 개입 없이 행동한 첫 사례 중 하나로 지목되는 이 사건은 오픈소스 생태계에서 AI 에이전트의 책임성과 통제 문제가 시급히 논의되어야 함을 보여준다.

사례 5: 구글 제미나이 - 비공개 일정 유출 및 무단 메시지 발송

• 사건 개요

2026년 1월, Gemini와 Google Workspace 연동 환경에서 비공개 회의 정보가 외부로 유출될 수 있는 간접 프롬프트 인젝션(Indirect Prompt Injection) 취약점이 발견됐다. 공격자는 캘린더 초대장 설명란에 숨겨진 명령을 삽입했고, 사용자가 일정 요약을 요청하자 AI가 이를 신뢰해 비공개 회의 내용을 외부로 전송할 수 있는 것으로 확인됐다.

• 주요 위험 요소

AI 에이전트는 사용자 의도와 데이터 맥락을 충분히 구분하지 못한 채 숨겨진 지시를 실행함으로써 정보 유출을 초래할 수 있다. 또한 신뢰할 수 없는 외부 데이터를 처리하는 과정에서 프롬프트 인젝션 공격에 노출될 가능성이 확인됐다.

• 추가 사례

Gemini가 가상 시나리오나 예시 대화를 실제 상황으로 오인해 사용자의 지인에게 문자를 발송하려 하거나, 연애 상담 과정에서 상대방에게 자동 메시지를 전송하려 시도하는 등 맥락 판단 오류 사례도 보고됐다.

• 시사점

AI 에이전트는 단순한 정보 제공을 넘어 이메일, 일정, 메시지 등 다양한 서비스와 연동되면서 권한 범위가 확대되고 있다. 이에 따라 프롬프트 인젝션 방어, 데이터 접근 통제, 최소 권한 원칙(Least Privilege), 사용자 승인 절차(Human-in-the-Loop) 등의 보안 통제가 필수적이다. 특히 외부 데이터와 내부 시스템을 동시에 활용하는 환경에서는 권한 관리와 행위 검증 체계가 AI 보안의 핵심 과제로 부상하고 있다.

사례 6: 오픈클로 - 무방비로 노출된 개인정보

• 사건 개요

사용자의 PC를 직접 조작할 수 있는 자율형 AI 에이전트 OpenClaw에서 보안 설정 미흡으로 전 세계 수만 개의 인스턴스가 관리자 인증 없이 인터넷에 노출됐다. 이로 인해 외부 공격자가 에이전트에 접근하거나 제어할 수 있는 위험이 제기됐다.

• 주요 문제점

- 기본 보안 설정 및 접근 통제 미흡

- 관리자 인증 절차 부재

- 에이전트 운영 환경에 대한 노출 관리 실패

- 사용자의 권한 범위를 넘어서는 행위 수행 가능성

• 데이터 및 권한 오남용 사례

블룸버그가 소개한 사례에 따르면 OpenClaw는 사용자로부터 iMessage 접근 권한을 획득한 뒤 연락처에 등록된 지인들에게 약 500건의 메시지를 사용자 승인 없이 발송한 것으로 알려졌다. 이는 AI 에이전트가 광범위한 권한을 보유할 경우 사용자의 의도와 무관한 행동을 수행할 수 있음을 보여준다.

• 시사점

AI 에이전트는 단순 정보 조회를 넘어 이메일, 메신저, 파일, 일정 등 다양한 시스템을 직접 조작할 수 있어 기존 애플리케이션보다 높은 수준의 권한 통제가 요구된다. 또한 최소 권한 원칙(Least Privilege), 행위 승인 체계(Human-in-the-Loop), 접근 통제, 감사 로그(Audit Trail), 실행 행위 모니터링을 필수적으로 적용해야 한다. 기업 역시 에이전트의 전 생애주기에 걸쳐 자산 식별, 권한 관리, 행위 추적, 위험 평가를 수행할 수 있는 거버넌스 체계를 구축해야 한다.

■ 전략적 시사점: 우리에게 미치는 영향

AI 주도 공격은 단순한 기술 문제를 넘어, 비즈니스의 연속성과 신뢰를 위협하는 전략적 과제로 떠오르고 있다. 이에 따라 기존의 방어 전략을 냉철하게 재평가하고 새로운 대응 전략을 수립해야 한다.

1. 기존 방어 체계의 한계 도달

• 시그니처 기반 도구의 한계

실행할 때마다 형태를 바꾸는 폴리모픽 악성코드는 '알려진 위협' 목록에 의존하는 전통적인 백신(AV)과 침입 탐지 시스템(IDS)을 무력화한다. 알려지지 않은 공격이 실시간으로 생성되는 환경에서는 과거의 패턴 기반 매칭 방식이 더 이상 유효하지 않다.

• 보안 인식 교육의 한계

Arup 사례에서 보듯, 문법적으로 완벽하고 상황에 맞는 AI 생성 메시지 앞에서 '오타를 확인하라'는 기존 보안 교육이 실효성을 잃는다. 특히 딥페이크는 인간의 본능적인 신뢰를 악용해 이성적인 판단을 어렵게 만들며, 훈련된 직원조차 속수무책으로 당할 수 있다.

2. 'AI 대 AI' 경쟁: 기계 속도의 방어 역량 필요

AI 공격의 속도와 규모는 인간 분석가의 대응 능력을 이미 넘어섰다. 공격자의 평균 시스템 침투 시간이 72분에 불과하다는 점은 인간이 경보를 인지하고 분석한 뒤 대응을 결정하는 수동적 체계만으로는 이를 막기 어렵다는 점을 보여준다. 결국 AI 공격에 대응하려면 방어 시스템 역시 AI를 활용해 위협을 예측하고, 수 초 내에 자동으로 대응 조치를 수행하는 '기계 속도의 방어' 역량을 확보해야 한다.

3. 비즈니스 리스크의 확대

AI 시대의 사이버 리스크는 데이터 유출에 그치지 않고 비즈니스의 핵심 가치를 직접 위협한다.

• 직접적 금융 손실

Arup 사례처럼 재무 프로세스를 직접 조작해 막대한 금전적 손실을 초래할 수 있다. 이는 사이버 리스크가 곧 재무 리스크임을 보여주는 대표적인 사례이다.

• 운영 중단 및 데이터 무결성 훼손

제조, 물류 등 핵심 산업의 운영기술(OT) 시스템을 공격하거나, 기업이 사용하는 AI 모델의 학습 데이터를 오염(Data Poisoning)시켜 예측을 왜곡하고 잘못된 의사결정을 유도할 수 있다. 예를 들어, 금융 사기 탐지 모델을 오염시켜 불법 거래를 정상 거래로 판단하도록 만들 수 있다.

• 평판 훼손

딥페이크를 활용해 CEO를 사칭하여 시장에 허위 정보를 유포하고, 기업 기밀을 조작하여 공개하는 등 기업의 사회적 신뢰와 평판을 회복 불가능한 수준으로 훼손할 수 있다.

4. 가장 중요한 공격 표적이 된 '사람'

과거에는 직원이 보안의 '가장 약한 고리'로 여겨졌지만, AI가 사회공학을 완벽에 가깝게 구사하는 오늘날에는 오히려 최우선 공격 대상이 되고 있다. 공격은 기술적 취약점이 아닌, 인간의 인지적 취약점을 파고든다.

• 증폭된 내부자 위협

외부 공격자는 AI를 활용해 실제 내부자와 구분하기 어려울 정도로 정교하게 위장할 수 있으며, 악의를 가진 내부 직원 역시 AI를 활용해 자신의 기술적 한계를 뛰어넘는 공격을 수행할 수 있다.

• '섀도우 AI'의 위험

임직원이 승인 없이 사용하는 공개 AI 도구는 심각한 보안 사각지대를 초래한다. 소스 코드와 사업 계획, 고객 정보 등 민감 정보가 무심코 입력되면서 외부로 유출될 수 있으며, AI 도구의 플러그인 취약점을 통해 악성코드가 유입되는 등 보안팀이 관리할 수 없는 새로운 공격 경로를 만든다.

■ 선제적 방어 체계 구축 방안

AI 위협에 효과적으로 대응하기 위해서는 단편적인 솔루션 도입을 넘어 기술과 사람, 프로세스를 유기적으로 결합한 통합적이고 다층적인 방어 프레임워크를 수립해야 한다. 이를 통해 위협을 사전에 예측하고 공격 발생 시 피해를 최소화하며, 빠르게 복구할 수 있는 '사이버 회복탄력성(Cyber Resilience)'을 확보해야 한다.

1. 기본 원칙: 제로 트러스트 아키텍처(ZTA)

AI 기반 공격은 내부 사용자를 가장하고 네트워크 내부에서 자율적으로 이동할 수 있어 기존의 경계 기반 보안 모델만으로는 효과적으로 대응하기 어렵다. 따라서 기업은 "절대 신뢰하지 않고 항상 검증한다(NEVER TRUST, ALWAYS VERIFY)"는 제로 트러스트 원칙을 보안의 기본 전략으로 적용해야 한다.

1) 지속적인 신원 검증

모든 사용자와 기기, 애플리케이션의 접근 요청을 지속적으로 인증·검증한다. 또한 비정상 로그인이나 불가능한 이동(Impossible Travel) 등 위험 징후를 기반으로 접근 권한을 동적으로 제어한다.

2) 최소 권한 원칙 적용

업무 수행에 필요한 최소한의 권한만 부여한다. 또한 JIT(Just-in-Time) 접근 제어를 통해 필요한 시점에만 권한을 부여하고, 즉시 회수함으로써 피해 범위를 최소화한다.

3) 내부 확산 방지

마이크로세그멘테이션을 통해 네트워크와 시스템을 세분화해 격리한다. 또한 침해 발생 시 공격자의 측면 이동(Lateral Movement)을 차단해 전사적인 확산을 방지한다.

2. 기술: 차세대 보안 운영 체계 구축

AI 기반 공격이 기계 속도로 진화함에 따라, 방어 체계 역시 AI 중심의 지능형·자동화된 보안 운영 체계로 전환해야 한다. 이를 위해 개별 보안 솔루션을 단순 운영하는 수준을 넘어 데이터와 자동화 기술을 통합한 '자율형 보안 플랫폼(Autonomous Security Platform)'을 구축할 필요가 있다.

1) 예측형 위협 인텔리전스

AI를 활용해 다크웹과 해킹 포럼, 위협 정보 채널 등 다양한 외부 데이터를 수집·분석한다. 또한 새로운 공격 기법(TTPs)을 사전에 식별하고 기업 환경에 영향을 미칠 수 있는 위협을 예측하고, 분석 결과를 보안 정책과 탐지 체계에 자동 반영해 선제적으로 대응한다.

2) AI 기반 통합 보안 플랫폼 구축

• SIEM(Security Information and Event Management)

온프레미스와 클라우드, SaaS 등 전사 시스템에서 발생하는 로그를 통합 수집·관리한다. 또한 AI 기반 분석을 위한 데이터 저장소 및 분석 기반을 제공한다.

• XDR(Extended Detection & Response)

엔드포인트와 네트워크, 이메일, 클라우드 등 다양한 보안 데이터를 연계 분석한다. 이를 통해 복합적·다단계 공격을 식별하고 실제 위협을 선별해 대응 우선순위를 설정한다.

• SOAR(Security Orchestration, Automation and Response)

탐지된 공격에 대해 사전 정의된 대응 절차를 자동으로 실행한다. 또한 계정 차단과 단말 격리, 악성 IP 차단 등 필요한 조치를 신속하게 수행해 대응 시간을 단축한다.

3. 사람: 회복력 있는 인간 방화벽 강화

AI 기반 사회공학 공격은 사람의 심리와 신뢰를 정교하게 악용하기 때문에 기술적 통제만으로는 완전하게 대응하기 어렵다. 따라서 조직은 직원을 단순한 보안 교육 대상이 아니라 핵심 방어 자산(Human Firewall)으로 육성하고, AI 기반 공격에 대한 회복탄력성을 강화해야 한다.

1) 실전 중심의 보안 인식 훈련 강화

기존 피싱 메일 중심 교육에서 벗어나 딥페이크 음성과 영상 등 최신 공격 기법을 반영한 실습형 훈련을 실시한다. 이를 통해 직원들이 딥페이크의 비정상적인 징후를 직접 경험하고 식별할 수 있도록 지원한다. 또한, AI 기반 사회공학 공격에 대한 경계심과 검증 습관이 조직 문화에 정착되도록 한다.

2) 심리적 회복탄력성 확보

공격자가 활용하는 긴급성과 권위, 두려움, 호기심 등의 심리 조작 기법을 이해하도록 교육한다. 나아가 압박 상황에서도 즉각 반응하기보다 정해진 절차에 따라 사실을 확인하는 행동 습관을 강화하고, 감정적인 대응보다 이성적인 판단을 유지할 수 있는 조직 문화를 조성한다.

3) 검증 절차의 의무화

자금 이체와 계정 권한 변경, 중요 정보 제공 등 핵심 업무에는 반드시 추가 검증을 수행한다. 이를 위해 전화나 대면 확인 등 별도 채널을 활용한 대역 외 검증(Out-of-Band Verification) 절차를 적용하고, 검증이 완료되지 않은 요청은 자동으로 보류되도록 프로세스를 운영해 인적 실수를 최소화한다.

4. 프로세스: AI 시대의 거버넌스 및 사고 대응 체계 구축

AI 기술이 업무 전반으로 확산되면서 효과적인 보안을 위해서는 기술과 인력뿐 아니라 체계적인 거버넌스와 사고 대응 프로세스가 필요하다. 조직은 AI 활용에 따른 위험을 관리하고 신속하게 대응할 수 있는 운영 체계를 마련해야 한다.

1) AI 보안 거버넌스 구축

조직 내 AI 개발·도입·운영 전 과정에 대한 보안 정책을 수립한다. AI 모델과 학습 데이터, 접근 권한, 활용 목적 등을 체계적으로 관리하는 AI 자산 인벤토리를 운영하고, 정기적인 보안 점검과 취약점 평가, 윤리·규제 준수 여부를 검증한다. 아울러 DLP(Data Loss Prevention)와 연계해 민감 정보의 무단 AI 서비스 입력과 섀도우 AI(Shadow AI) 사용을 탐지·차단한다.

2) AI 특화 사고 대응 체계 고도화

기존 사고 대응 절차를 AI 기반 위협 시나리오에 맞게 개선한다. 이를 위해 딥페이크와 AI 기반 사칭, 허위 정보 유포, 데이터 유출 등 신규 위협에 대응할 수 있는 전용 플레이북을 마련하고, 보안팀뿐 아니라 법무와 홍보, 경영진이 함께 참여하는 통합 대응 체계를 구축한다.

3) 지속적인 훈련 및 검증

정기적인 도상훈련(Tabletop Exercise)을 통해 대응 절차의 실효성을 검증한다. 새로운 AI 위협 사례를 반영해 플레이북과 대응 체계를 지속적으로 개선하고, 위기 상황 발생 시 신속한 의사결정과 협업이 가능하도록 대응 역량을 강화한다.

5. AI 에이전트 개발 및 배포 단계 보안 강화

1) Secure by Design 적용

AI 에이전트 개발 초기 단계부터 보안을 핵심 요소로 적용한다. 이를 위해 위협 모델링(Threat Modeling)을 통해 예상 공격 시나리오를 사전에 식별하고 설계에 반영한다.

2) 입·출력 검증 체계 구축

사용자 프롬프트 입력을 검증해 악성 요소를 제거(Sanitization)하고, 출력 결과에 포함된 민감 정보와 악성 명령어, 정책 위반 여부를 검증하고 필터링한다.

6. 지속적인 모니터링 및 위협 탐지·대응 자동화

1) 클라우드 보안 강화

AI 에이전트 운영 환경의 보안 설정을 지속적으로 점검한다. 이와 함께 CNAPP와 CSPM 등의 솔루션을 활용해 취약점을 탐지하고 설정 오류를 수정하며, 규제 준수 여부를 자동으로 관리한다.

2) 통합 보안 관제 및 자동 대응

AI 에이전트 활동 로그와 시스템 로그, 네트워크 트래픽을 통합 수집·분석한다. 이를 기반으로 SIEM을 활용해 실시간 위협을 탐지하고 상관관계를 분석하며, 탐지된 위협에 대해서는 계정 차단과 네트워크 격리, 패치 적용 등 자동화된 대응 체계를 구축한다.

7. AI 에이전트 자산·권한 관리 솔루션 확산

AI 에이전트 가시성 확보를 위해 기업 내에서 사용 중인 AI 에이전트를 식별하고 등록·관리하며, 승인되지 않은 Shadow AI Agent를 탐지하고 통제한다.

• 주요 기업 동향

기업 주요 기능
Microsoft

Agent 365를 통해 AI 에이전트 발견 및 관리 기능 제공

Okta

Shadow AI Agent 탐지 및 자산 등록·정책 적용 지원

이로운앤컴퍼니(SAIFE X)

사용자별 AI 활용 현황, 프롬프트, 응답, 비용 등을 통합 관리

SailPoint

AI 에이전트를 비인간 신원(Non-Human Identity)으로 관리하고 권한 검토·회수 지원

CyberArk

AI 에이전트를 특권 계정으로 간주하여 권한과 생애주기 관리

Palo Alto Networks

에이전트 발견→위험 평가→보호의 3단계 통제 체계 제공

Cloudflare

프롬프트 주입 공격, 개인정보 유출, 정책 위반 요청을 사전 탐지·차단

■ 위협 유형별 구체적인 실행 계획

주요 위협 벡터별로 기술·프로세스·사람 측면에서 필요한 실행 계획을 제시한다. 이는 즉각적인 위험 감소와 장기적인 방어 체계 구축을 위한 실질적인 가이드라인이다.

1. 고도화된 사회공학(딥페이크) 대응

이 위협은 기술적 방어 체계를 우회해 인간의 신뢰를 공격하는 가장 직접적이고 파괴적인 공격 형태 중 하나다.

1) 기술(Technology)

• AI 기반 이메일 보안 강화

NLP(자연어 처리)를 활용해 이메일의 문맥과 어조, 요청 패턴 등을 분석함으로써 스피어 피싱과 BEC(경영진 사칭) 공격을 탐지한다. 이를 통해 기존 발신자와 키워드 중심 분석을 넘어 지능형 사회공학 공격에도 대응할 수 있다.

- 대표 솔루션: SpamSniper AI+, SC-WORM, Abnormal Security

• 강력한 다단계 인증(MFA) 확대

중요 시스템과 금융 업무에는 FIDO2 기반 보안키와 생체인증 등 피싱 저항형 인증을 적용한다. 이를 통해 계정 탈취로 인한 피해를 최소화한다.

• 딥페이크 탐지 기술 적용

영상과 음성 통화에서 얼굴과 음성, 표정, 조명 등의 비정상 패턴을 실시간으로 분석한다. 특히 경영진과 재무 담당자를 대상으로 우선 적용해 딥페이크 기반 사기 공격을 예방한다.

- 대표 솔루션: Alchera AIIR-VFDS, Cranberry DeepFinder, Intel FakeCatcher

2) 프로세스(Process)

• 대역 외 검증(Out-of-Band Verification) 제도화

자금 이체와 민감 정보 제공, 중요 시스템 변경 등 핵심 업무는 반드시 별도 채널을 통해 재확인한다. 이메일이나 메신저만으로 승인하지 않고 전화 또는 대면 확인 절차를 의무화하며, 관련 규정에 반영해 정기적으로 준수 여부를 점검한다.

• 딥페이크 사고 대응 플레이북 구축

딥페이크 기반 사기와 허위정보 유포 발생 시 대응 절차를 표준화한다. 또한 보안과 법무, 홍보, 경영진 간 협업 체계를 마련하고 대외 커뮤니케이션과 수사기관 협조, 증거 보존 절차를 포함한 대응 체계를 구축한다.

3) 사람(People)

• 인간 방화벽(Human Firewall) 2.0 운영

최신 딥페이크 공격 사례를 활용한 실습형 보안 교육을 실시하고, 실제 음성과 영상 기반 훈련을 통해 위조 여부를 식별하는 능력을 강화한다.

• 심리적 회복탄력성 교육

긴급성과 권위, 공포심 등을 이용한 사회공학 공격 기법을 이해하도록 교육한다. 압박 상황에서도 감정적으로 대응하지 않고 검증 절차를 따르는 행동 습관을 정착시키며, 역할극 기반 모의훈련을 통해 대응 역량을 강화한다.

2. 탐지 회피형 악성코드 대응

실행 시마다 코드를 변경하여 기존의 시그니처 기반 탐지를 무력화하는 지능형 악성코드에 대한 대응 방안이다.

1) 기술(Technology)

• 차세대 엔드포인트 보호(NG-EPP) 및 XDR 도입

AI·ML 기반 행위 분석을 통해 알려지지 않은 신종·변종 악성코드를 탐지하고 차단한다. 이를 통해 비정상적인 프로세스 실행과 권한 상승 시도, 랜섬웨어 행위 등을 실시간으로 분석해 대응한다.

- 대표 솔루션: AhnLab EDR, Genian EDR, CrowdStrike Falcon Platform

• 네트워크 마이크로세그멘테이션 구축

제로 트러스트 기반으로 네트워크를 세분화해 핵심 자산을 격리한다. 이를 통해 단말 감염이 발생하더라도 내부 시스템으로의 측면 이동(Lateral Movement)을 차단한다.

- 대표 솔루션: Illumio Core, Akamai Guardicore Segmentation, Tufin Orchestration Suite

• AI 기반 샌드박스 활용

의심 파일과 코드를 격리된 환경에서 실행해 악성 여부를 정밀 분석한다. AI가 탐지 회피 시도까지 식별해 분석 정확도를 높인다.

- 대표 솔루션: Palo Alto WildFire, Fortinet FortiSandbox, Trellix Intelligent Sandbox

2) 프로세스(Process)

• 자동화된 위협 헌팅(Threat Hunting) 체계 구축

AI가 방대한 로그와 네트워크 데이터를 분석해 숨겨진 침해 지표와 이상 행위를 탐지한다. 또한 수동 중심의 위협 탐지에서 벗어나 선제적이고 지능적인 위협 탐지 체계를 구현한다.

• 적응형 사고 대응 플레이북 운영

SOAR 기반으로 탐지와 분석, 격리, 복구 전 과정을 자동화한다. 또한 랜섬웨어 등 위협이 탐지되면 단말 격리와 계정 차단, 네트워크 차단 등의 대응을 즉시 수행해 MTTR(평균 대응 시간)을 단축하고 피해 확산을 최소화한다.

3. 데이터 오염 및 내부 AI 모델 공격 대응

기업이 자체적으로 운영하는 AI 모델의 학습 데이터를 오염시키거나, 모델 자체의 취약점을 공격하는 위협에 대한 방안이다.

1) 기술(Technology)

• AI 모델 입력·출력 모니터링 강화

학습 데이터와 사용자 프롬프트의 무결성을 검증하고 악성 데이터를 필터링한다. 아울러 데이터 출처를 검증하고 이상 징후를 탐지해 데이터 포이즈닝(Data Poisoning)과 프롬프트 인젝션 공격을 예방한다.

• AI 이상 행위 탐지 체계(AI Firewall) 구축

AI 모델의 응답 패턴과 동작을 지속적으로 모니터링한다. 또한 비정상적인 결과 생성과 모델 변조, 적대적 공격 등을 탐지·차단한다.

- 대표 솔루션: SPARROW AI-FIT, CalypsoAI AI Security Platform, HiddenLayer MLDR

2) 프로세스(Process)

• AI 보안 거버넌스 수립

AI 모델과 학습 데이터, 접근 권한, 취약점 점검 절차 등을 체계적으로 관리한다. 또한 AI 개발·운영 전 과정에 대한 보안 정책과 관리 체계를 구축한다.

• 안전한 AI 개발 수명주기(Secure AI Lifecycle) 도입

기획부터 개발과 테스트, 배포, 운영, 폐기까지 보안 요구사항(MLSecOps)을 적용한다. 또한 학습 데이터를 검증하고 적대적 테스트(Adversarial Testing)를 수행해 잠재적인 취약점을 사전에 제거한다.

3) 사람(People)

• AI 개발자 및 운영자 전문 교육 강화

프롬프트 인젝션과 데이터 포이즈닝 등 최신 AI 공격 기법을 교육하고 Secure Coding과 AI 보안 설계 역량을 강화한다. 이를 통해 AI 보안 위협에 대한 대응 능력과 보안 인식 수준을 높인다.

4. 공격 자동화 및 대중화 대응

AI로 인해 고도화된 공격이 대규모로, 그리고 빠르게 변화하는 위협 환경에 대응하기 위한 방안이다.

1) 기술(Technology)

• AI 기반 위협 인텔리전스 플랫폼 도입

AI를 활용해 다크웹과 해킹 포럼 등에서 거래되는 FraudGPT, WormGPT와 같은 공격용 AI 도구의 출현과 새로운 취약점 정보, 공격 그룹의 TTPs 변화를 자동으로 수집·분석한다. 이를 방어 전략에 실시간으로 반영할 수 있는 위협 인텔리전스 플랫폼을 구축한다.

- 대표 솔루션: 에스투더블유(S2W) - XARVIS, 지니언스 - GENIAN CTI, Recorded Future - Threat Intelligence Platform

• 공격 표면 관리(ASM) 솔루션 도입

외부에서 접근 가능한 회사의 모든 IT 자산(서버, 애플리케이션, 클라우드 서비스 등)을 공격자의 관점에서 지속적으로 스캔하고, AI가 악용할 수 있는 잠재적 취약점이나 설정 오류를 식별해 선제적으로 제거한다.

- 대표 솔루션: 에스투더블유(S2W) - QUAXAR, 씨플랫(CPLAT) - CPLAT V-RISK, Palo Alto Networks - Cortex Xpanse

2) 프로세스(Process)

• 침해 및 공격 시뮬레이션(BAS) 도입

최신 AI 위협 시나리오를 기반으로 조직의 방어 체계가 실제로 작동하는지 지속적으로 자동 테스트하는 BAS 솔루션을 도입한다. 이를 통해 방어 체계의 취약점을 식별하고 개선 우선순위를 객관적으로 도출한다.

• AI 기반 레드팀 훈련 정례화

외부 전문 레드팀을 활용하여, AI 기반 공격을 실제로 시도하고 방어팀이 이를 탐지하고 대응하는 과정을 평가하는 실전 훈련을 정기적으로 수행하여 대응 역량을 강화한다.

5. 내부자 위협 증폭 대응

AI를 통해 위장하거나, AI 도구를 악용하는 내부자 위협에 대한 대응 방안이다.

1) 기술(Technology)

• 사용자 및 개체 행위 분석(UEBA) 도입

AI를 활용하여 직원, 서버, 애플리케이션 등 모든 개체의 평상시 활동 패턴을 학습하고, 이를 기준으로 벗어나는 비정상적인 행위(예: 평소 접근하지 않던 데이터에 대량 접근, 야간에 소스 코드 유출 시도)를 실시간으로 탐지한다. 이를 통해 위장된 내부자나 악의적인 내부자의 활동을 조기에 식별한다.

- 대표 솔루션: 지란지교시큐리티 - J-UBA, 이글루코퍼레이션 - SPiDER TM AI Edition, Exabeam - Fusion SIEM

• 데이터 유출 방지(DLP) 및 CASB 연동

DLP 솔루션을 통해 민감 데이터의 흐름을 통제한다. 이를 클라우드 접근 보안 중개(CASB, Cloud Access Security Broker) 솔루션과 연동하면, 직원이 허가되지 않은 외부 AI 서비스(Shadow AI)에 민감 정보를 업로드하는 행위까지 탐지할 수 있다. 이렇게 감지된 행위는 즉시 차단된다.

- 대표 솔루션: 파수(Fasoo) - Fasoo Enterprise DRM, 소만사 - Privacy-i, Netskope - Netskope Security Cloud

2) 프로세스(Process)

• 내부자 위협 관리 프로그램 강화

기술적 통제뿐 아니라, 채용 단계의 스크리닝 강화와 퇴직 시 접근 권한의 즉시 회수, 정기적인 권한 재검토 등 관리적 프로세스를 강화해 내부자 위협의 기회를 최소화한다.

• '섀도우 AI' 관리 정책 수립

직원들이 사용하는 외부 AI 서비스 현황을 파악하고, 민감 정보 입력 금지 등 명확한 사용 정책을 수립한다. 또한 보안이 강화된 기업용 Private LLM 도입을 검토해 직원들의 생산성과 보안 요구를 동시에 충족시키는 방안을 모색한다.

■ 결론: AI 시대의 전략적 우위 확보

AI 주도 공격은 더 이상 미래의 예측이 아니라, 막대한 재무적·운영적 피해를 입히고 있는 명백한 현실이다. 공격자들은 AI를 활용해 전례 없는 속도와 규모, 정교함으로 방어 체계를 무력화하고 있으며, 이에 대응하기 위한 방어 전략의 전면적인 재검토는 모든 조직의 최우선 과제가 되어야 한다.

이러한 도전을 단순한 위협으로 인식할 것이 아니라, 비즈니스를 한 단계 발전시키는 기회로 삼아야 한다. 강력하고 선제적인 AI 보안 태세를 갖춘 기업은 경쟁사보다 더 빠르고 자신감 있게 AI 기술을 비즈니스 혁신에 도입할 수 있다. 즉, AI 보안 투자는 단순한 방어 비용이 아니라, AI 시대의 비즈니스 연속성과 성장을 담보하는 핵심 전략 투자다.

■ 참고 자료

[1] How AI is Transforming Cybersecurity: Tackling the Surge in Cyber Threats.
(https://news.microsoft.com/source/canada/features/ai/how-ai-is-transforming-cybersecurity-tackling-the-surge-in-cyber-threats/)

[2] The Evolution of Cyber Threats in the Age of AI: Challenges and Responses – LevelBlue.
(https://levelblue.com/blogs/security-essentials/the-evolution-of-cyber-threats-in-the-age-of-ai-challenges-and-responses)

[3] AI in Cybersecurity: How AI Is Impacting the Fight Against Cybercrime – Akamai.
(https://www.akamai.com/blog/security/ai-cybersecurity-how-impacting-fight-against-cybercrime)

[4] AI 해킹의 시대, 실제 사례와 방어 전략 4가지 | SK쉴더스.
(https://www.skshieldus.com/blog-security/security-trend-idx-46)

[5] $25 Million Deepfake Scam: The Ultimate Con? – Trustpair.
(https://trustpair.com/blog/25-million-deepfake-scam-the-ultimate-con/)

[6] AI로 더 거세진 사이버 공격...각 산업별 대응전략은 – 조선일보.
(https://www.chosun.com/economy/tech_it/2025/04/02/RGNZOJVT2BA23PPGDQQUQU4DGU/)

[7] AI Phishing Attacks: How Big is the Threat? (+Infographic) – Hoxhunt.
(https://hoxhunt.com/blog/ai-phishing-attacks)

[8] The Evolution of Cyber Threats: From Viruses to AI Attacks.
(https://globalcybersecuritynetwork.com/blog/the-evolution-of-cyber-threats-from-viruses-to-ai-attacks/)

[9] What is Artificial Intelligence (AI) in Cybersecurity? – SentinelOne.
(https://www.sentinelone.com/cybersecurity-101/data-and-ai/artificial-intelligence-in-cybersecurity/)

[10] 사이버 보안을 위한 AI란 무엇인가요?| Microsoft Security.
(https://www.microsoft.com/ko-kr/security/business/security-101/what-is-ai-for-cybersecurity)

[11] Detecting and countering misuse of AI: August 2025 - Anthropic.
(https://www.anthropic.com/news/detecting-countering-misuse-aug-2025)

[12] The near-term impact of AI on the cyber threat - NCSC.GOV.UK.
(https://www.ncsc.gov.uk/report/impact-of-ai-on-cyber-threat)

[13] What is Dark AI? | CrowdStrike.
(https://www.crowdstrike.com/en-us/cybersecurity-101/artificial-intelligence/dark-ai/)

[14] Most Common AI-Powered Cyberattacks | CrowdStrike.
(https://www.crowdstrike.com/en-us/cybersecurity-101/cyberattacks/ai-powered-cyberattacks/)

[15] Understanding Offensive AI vs. Defensive AI in Cybersecurity - Abnormal AI.
(https://abnormal.ai/blog/offensive-ai-defensive-ai)

[16] Generative AI Makes Social Engineering More Dangerous—and Harder to Detect | IBM.
(https://www.ibm.com/think/insights/generative-ai-social-engineering)

[17] Top 5 AI-Powered Social Engineering Attacks - The Hacker News.
(https://thehackernews.com/2025/01/top-5-ai-powered-social-engineering.html)

[18] AI를 이용한 사이버 위협의 해외사례 분석 및 시사점 연구.
(https://koreascience.kr/article/JAKO202412757605006.pdf)

[19] The Growing Threat of AI-powered Cyberattacks in 2025 - Cyber Defense Magazine.
(https://www.cyberdefensemagazine.com/the-growing-threat-of-ai-powered-cyberattacks-in-2025/)

[20] This engineering firm was hit by a deepfake fraud. Here's what it learned.
(https://www.weforum.org/videos/arup-deepfake-fraud/)

[21] What is dark AI and how can you protect yourself? – Norton. (https://us.norton.com/blog/ai/dark-ai)

[22] The Dark Web and Generative AI: How AI is Supercharging Cybercrime | by Alan Robertson.
(https://medium.com/@alanrobertson_85371/the-dark-web-and-generative-ai-how-ai-is-supercharging-cybercrime-57f09256ff23)

[23] Adversarial Misuse of Generative AI | Google Cloud Blog.
(https://cloud.google.com/blog/topics/threat-intelligence/adversarial-misuse-generative-ai)

[24] DarkBERT is the most malicious dark web AI. It's coming after you.
(https://cetas.turing.ac.uk/news/darkbert-most-malicious-dark-web-ai-its-coming-after-you)

[25] $25M Deepfake CEO Scam Shakes Hong Kong Firm by Doron Ish Shalom – Clarity.
(https://www.getclarity.ai/ai-deepfake-blog/25m-deepfake-ceo-scam-shakes-hong-kong-firm)

[26] Cyber Case Study: $25 Million Deepfake Scam - CoverLink Insurance.
(https://coverlink.com/case-study/case-study-25-million-deepfake-scam/)

[27] Cyber Attack Case Study: Deepfake Scammers Con Company - CoverLink Insurance.
(https://coverlink.com/case-study/cyber-attack-case-study-deepfake-scammers-con-company/)

[28] Deepfake CFO Video Calls Result in $25MM in Damages | Trend Micro (US),
(https://www.trendmicro.com/en_us/research/24/b/deepfake-video-calls.html)

[29] Scammers siphon $25M from engineering firm Arup via AI deepfake 'CFO' - CFO Dive.
(https://www.cfodive.com/news/scammers-siphon-25m-engineering-firm-arup-deepfake-cfo-ai/716501/)

[30] AI Phishing Attacks - An Evolving Threat - Check Point Software.
(https://www.checkpoint.com/cyber-hub/threat-prevention/what-is-phishing/ai-phishing-attacks/)

[31] Tackle AI Malware with AI: BlackMamba ChatGPT Vs ThreatResponder - NetSecurity.com.
(https://www.netsecurity.com/tackle-ai-malware-with-ai-blackmamba-chatgpt-vs-threatresponder/)

[32] BlackMamba: Using AI to Generate Polymorphic Malware – HYAS.
(https://www.hyas.com/blog/blackmamba-using-ai-to-generate-polymorphic-malware)

[33] BlackMamba Research Whitepaper. (https://www.hyas.com/blackmamba-research-whitepaper)

[34] BlackMamba is a New, More Dangerous Strain of Malware – SecureOps.
(https://www.secureops.com/blog/black-mamba)

[35] Researchers flag code that uses AI systems to carry out ransomware attacks | CyberScoop.
(https://cyberscoop.com/prompt-lock-eset-ransomware-research-ai-powered-prompt-injection/)

[36] First-ever AI-powered ransomware discovered. What does it mean for compliance and cybersecurity? – VinciWorks.
(https://vinciworks.com/blog/first-ever-ai-powered-ransomware-discovered-what-does-it-mean-for-compliance-and-cybersecurity/)

[37] AI-Powered Malware Detection: BlackFog's Advanced Solutions.
(https://www.blackfog.com/ai-powered-malware-detection-blackfogs-advanced-solutions/)

[38] AI 시대의 사이버보안 기술 – 정부조달기술진흥협회. (https://ppta.or.kr/webzine/2025_01/a2.html)

[39] 방패일까, 무기일까? AI가 해킹의 판을 바꾼다!
(https://www.bespinglobal.com/trend-letter/bespick-ai-cybersecurity-threats/)

[40] AI-Powered Social Engineering Attacks - CrowdStrike.com.
(https://www.crowdstrike.com/en-us/cybersecurity-101/social-engineering/ai-social-engineering/)

[41] "해커, AI 기반 '해킹3.0' 시대 진입", 보안위협 심각...씨큐비스타, 2024 사이버 공격 트렌드 분석.
(https://www.aitimes.kr/news/articleView.html?idxno=34124)

[42] How to create an employee cybersecurity awareness training program (with examples).
(https://www.crowdstrike.com/en-us/cybersecurity-101/small-business/employee-cybersecurity-training-program/)

[43] What Is Generative AI in Cybersecurity? - Palo Alto Networks.
(https://www.paloaltonetworks.com/cyberpedia/generative-ai-in-cybersecurity)

[44] 생성형 AI 보안 위협과 대응방안 - CSLEE Tech Blog - 씨에스리 기술 블로그.
(https://blog.cslee.co.kr/generative-ai-security-threats-and-countermeasures/)

[45] How is AI Strengthening Zero Trust? | CSA - Cloud Security Alliance.
(https://cloudsecurityalliance.org/blog/2025/02/27/how-is-ai-strengthening-zero-trust)

[46] AI Security Risks and How Zero Trust Makes a Difference – Splashtop.
(https://www.splashtop.com/blog/ai-security-risks-how-zero-trust-is-making-a-difference)

[47] AI in Cybersecurity: How AI is Changing Threat Defense - Syracuse University's iSchool.
(https://ischool.syracuse.edu/ai-in-cybersecurity/)

[48] Artificial Intelligence (AI) in Cybersecurity: The Future of Threat Defense – Fortinet.
(https://www.fortinet.com/resources/cyberglossary/artificial-intelligence-in-cybersecurity)

[49] Understanding AI risks and how to secure using Zero Trust – LevelBlue.
(https://levelblue.com/blogs/security-essentials/understanding-ai-risks-and-how-to-secure-using-zero-trust)

[50] What Is a Zero Trust Architecture? - Zscaler, Inc.
(https://www.zscaler.com/resources/security-terms-glossary/what-is-zero-trust-architecture)

[51] Next-Gen AI Cybersecurity: Reshape Digital Defense | CSA - Cloud Security Alliance.
(https://cloudsecurityalliance.org/blog/2025/01/10/next-gen-cybersecurity-with-ai-reshaping-digital-defense)

[52] Top 10 AI-Powered Cybersecurity Platforms - SOCRadar® Cyber Intelligence Inc.
(https://socradar.io/top-10-ai-powered-cybersecurity-platforms/)

[53] Recorded Future: Advanced Cyber Threat Intelligence. (https://www.recordedfuture.com/)

[54] Cyber Threat Intelligence(CTI) | Cloud-Based Platform AIONCLOUD. (https://www.aioncloud.com/ailabs/)

[55] World's First Intelligence-Driven, AI-Native Security Platform. (https://cyble.com/)

[56] What Is SOAR vs. SIEM vs. XDR? - Palo Alto Networks.
(https://www.paloaltonetworks.com/cyberpedia/what-is-soar-vs-siem-vs-xdr)

[57] What Is AI for Cybersecurity? | Microsoft Security.
(https://www.microsoft.com/en-us/security/business/security-101/what-is-ai-for-cybersecurity)

[58] What Is Next-Generation Endpoint Security? | Trellix.
(https://www.trellix.com/security-awareness/endpoint/what-is-next-gen-endpoint-protection/)

[59] Understanding the Difference Between EDR, SIEM, SOAR, and XDR – SentinelOne.
(https://www.sentinelone.com/cybersecurity-101/xdr/understanding-the-difference-between-edr-siem-soar-and-xdr/)

[60] NDR vs XDR: 5 Key Differences and How to Choose | Exabeam.
(https://www.exabeam.com/explainers/network-detection-and-response/ndr-vs-xdr-5-key-differences-and-how-to-choose/)

[61] XDR vs SOAR – Upwind. (https://www.upwind.io/glossary/xdr-vs-soar)

[62] The evolution of social engineering and the rise of AI-powered cybercrime.
(https://heimdalsecurity.com/blog/social-engineering-ai-cybercrime/)

[63] Generative AI attacks: Spot the fake - New York State Deferred Compensation.
(https://www.nysdcp.com/rsc-preauth/forms-and-resources/cyber-security-center/articles/generative-ai-attacks)

[64] Workforce Risk Management Fundamentals for AI - SANS Institute.
(https://www.sans.org/for-organizations/workforce/risk-management/ai-fundamentals)

[65] AI Security Training for Employees: Checklist and Best Practices – CyberCoach.
(https://blog.cybercoach.com/ai-security-training-for-employees-checklist-and-best-practices)

[66] Strategic Roadmap: Organizational Transformation for the AI Era – Tranchulas.
(https://tranchulas.com/strategic-roadmap-organizational-transformation-for-the-ai-era/)

[67] What your AI Threat Matrix Says about your Organization - KPMG International.
(https://kpmg.com/us/en/articles/2024/what-ai-threat-matrix-organization.html)

[68] AI at Work: AI Training for Employees – NAVEX. (https://www.navex.com/en-us/courses/ai-employee-training/)

[69] 생성형 AI 보안: 지금 중요한 것 – AWS.
(https://aws.amazon.com/ko/executive-insights/content/securing-generative-ai-what-matters-now/)

[70] What is phishing? | Phishing attack prevention – Cloudflare.
(https://www.cloudflare.com/learning/access-management/phishing-attack/)

[71] 생성형AI 보안위협과 안전한 생성형AI 운용 방안. (https://www.dailysecu.com/form/html/ais/image/2024/AIS2024-7.pdf)

[72] AI-DRIVEN CYBERSECURITY THREATS AND ORGANIZATIONAL CONSEQUENCES - CSUSB ScholarWorks.
(https://scholarworks.lib.csusb.edu/cgi/viewcontent.cgi?article=3173&context=etd)

[73] Agentic AI 시대, 진화하는 보안 위협과 그 해법은? | 인사이트리포트.
(https://www.samsungsds.com/kr/insights/security-threats-in-the-agentic-ai-era.html)

  1. 폴리모픽 악성코드(Polymorphic Malware)

    - 정의: 실행될 때마다 코드의 일부를 변경하여 동일한 기능을 수행하지만 서명(Signature)이 달라지는 악성코드

    - 특징: 암호화된 페이로드와 변형된 복호화 루틴을 활용해 백신의 시그니처 기반 탐지를 회피

    - 예: 매 실행마다 다른 형태로 보이지만 같은 악성 행위를 함

    - AI 활용: AI가 자동으로 다양한 변형을 생성하여 탐지 회피 능력을 극대화

  2. 메타모픽 악성코드(Metamorphic Malware)

    - 정의: 실행될 때마다 전체 코드 구조를 변경하여 완전히 다른 형태로 보이는 악성코드

    - 특징: 코드 자체를 재작성하거나 명령어 순서를 변경하는 방식으로, 폴리모픽보다 한층 고도화되어 시그니처는 물론 행위 기반 탐지까지 회피 가능

    - 예: 동일한 기능을 수행하지만 코드가 완전히 달라 보임

    - AI 활용: AI가 코드 재구성 알고리즘을 통해 수많은 변종을 자동 생성