AI 레드티밍이란? KISA 가이드로 보는 AI 보안 점검 3단계

핵심 POINT

2026년, 주요 AI 기업의 사이버보안 평가 과정에서 모델이 의도된 테스트 범위를 넘어 실제 인터넷이나 외부 시스템에 접근한 사례가 잇따라 공개됐습니다. 오픈AI, 앤트로픽, 메타, 문샷AI 등 서로 다른 모델에서 평가 환경의 통제 범위를 벗어난 행동이 확인되면서, AI의 사이버보안 역량만큼 테스트 환경 자체의 안전성도 중요한 과제로 떠올랐습니다.

사례의 원인과 양상은 서로 달랐습니다. 일부는 테스트 환경의 인터넷 차단 설정이 제대로 작동하지 않았고, 일부는 격리 환경의 취약점이 이용됐습니다. 중요한 점은 모델 성능이 높아질수록 평가 환경 자체도 공격 표면이 될 수 있다는 것입니다. AI 보안에서는 모델의 응답만 보는 것이 아니라 네트워크 접근, 도구 권한, 외부 연계까지 함께 통제하고 검증해야 합니다.

그렇다면 기업의 정보 보안 관점에서는 AI 시스템의 새로운 위험을 어떻게 점검해야 할까요? AI 레드티밍은 실제 공격자의 관점에서 AI 시스템과 연결 환경을 시험해 예상하지 못한 취약점과 통제의 빈틈을 찾는 핵심 검증 방법입니다. 이 글에서는 AI 레드티밍의 개념과 필요성, KISA 가이드가 제시한 수행 절차, 그리고 기업이 현실적으로 적용할 수 있는 점검 방향을 살펴보겠습니다.

‍

■ 공격자의 관점에서 보안 허점을 찾는 레드티밍

이미지 출처 : Magnific

레드티밍은 군사 분야에서 시작된 개념으로, 아군이 적대적 역할을 맡아 실제 공격 상황을 가정하고 방어 체계의 빈틈을 찾는 방식입니다. 사이버보안에서는 화이트해커가 공격자의 관점에서 시스템 침투를 시도하고, 공격 경로와 취약점을 확인한 뒤 개선 방안을 도출합니다.

기존 모의해킹이 웹·모바일·네트워크 등 IT 인프라의 기술적 취약점에 초점을 맞춘다면, AI 레드티밍은 모델·데이터·애플리케이션·외부 연계까지 점검 범위를 확장합니다. 프롬프트 인젝션, 탈옥, 에이전트 하이재킹, 메모리 오염처럼 AI 특유의 동작과 권한 구조를 악용하는 위협을 실제 시나리오로 검증하는 것이 핵심입니다.

‍

▶ 레드팀이란? 선제적 사이버보안을 위한 공격 기반 보안 전략

‍

■ AI 레드티밍이 중요해진 이유

이미지 출처 : Magnific

✅ 사이버보안 평가에서 드러난 AI 통제 경계의 한계

2026년 7~8월 공개된 사례를 보면, 일부 AI 모델은 의도된 평가 환경을 넘어 실제 인터넷이나 외부 시스템에 접근했습니다. 앤트로픽은 제3자 평가 환경의 설정 오류로 Claude 모델이 실제 조직의 시스템에 무단 접근한 사례를 공개했고, 메타도 Muse Spark 1.1이 유사한 환경 설정 문제로 실제 웹사이트의 취약점을 악용한 사례를 확인했습니다. 오픈AI 역시 제3자 사이버 평가에서 테스트 경계를 벗어난 사례를 공개했습니다. 원인은 서로 달랐지만, 네트워크 격리와 도구 권한, 평가 환경 검증을 다층적으로 설계해야 한다는 점은 공통적으로 드러났습니다.

✅ 기존 보안 점검만으로는 AI 고유 위협을 충분히 보기 어렵다

금융보안원의 「2025년 AI 레드팀 보고서」는 AI 공격 기술을 1세대 수동적 탐색으로 단순 우회, 2세대 자동화된 프롬프트 최적화, 3세대 인지적 조작·RAG 공격, 4세대 에이전트 공격으로 구분합니다. 특히 3세대 이후에는 긴 문맥이나 지식 데이터베이스 오염, 도구 사용 조작까지 공격 범위가 넓어집니다. 방화벽·백신 등 기존 보안 통제만으로는 모델의 판단과 행동에서 발생하는 위험을 충분히 검증하기 어렵기 때문에, AI 시스템 특성을 반영한 별도의 공격 시나리오와 반복 검증이 필요합니다.

기존 소프트웨어는 사전에 정의된 코드와 규칙을 기반으로 동작하기 때문에 특정 입력과 취약점에 대한 결과를 상대적으로 명확하게 재현할 수 있습니다. 반면 AI는 확률에 기반한 모델로서 출력과 판단에 본질적인 불확실성이 존재하며, 같은 공격을 수행하더라도 문맥에 따라 결과가 달라질 수 있습니다. 따라서 AI 레드티밍은 한 번의 공격 성공이나 실패로 안전성을 판단하기보다, 다양한 조건에서 공격을 반복하고 결과의 발생 빈도와 영향도를 함께 평가해야 합니다.

‍

■ SK쉴더스 EQST의 AI 보안 레드티밍 가이드

과학기술정보통신부와 한국인터넷진흥원(KISA)은 2026년 7월 AI 보안 레드팀 운영 방안을 담은 「AI 보안 레드티밍 가이드」를 공개했습니다. SK쉴더스의 화이트해커 전문 그룹 EQST Lab은 참여기관으로 가이드 제작에 함께했으며, 별도로 공개된 「AI 보안 위협 대응 매뉴얼」 제작에도 참여했습니다. EQST는 자체 모의해킹 방법론(IPTM)과 다양한 침투테스트 경험을 바탕으로 AI 레드팀·모의해킹 등 공격자 관점의 보안 검증 역량을 확대하고 있습니다.

「AI 보안 레드티밍 가이드」는 AI 레드팀 구성부터 준비, 이행, 결과 보고까지 운영 절차를 체계화하고, 함께 발간된 「AI 보안 위협 대응 매뉴얼」은 프롬프트 인젝션·탈옥·에이전트 하이재킹 등 주요 AI 보안 위협과 대응 방안을 정리합니다. 두 자료를 함께 활용하면 '무엇을 점검할지'와 '어떻게 점검할지'를 보다 구체적으로 설계할 수 있습니다.

‍

▶ AI 보안 레드티밍 가이드 바로 보기

‍

1) AI 레드티밍은 무엇을 점검할까?

기존 사이버 보안 레드티밍이 IT 시스템과 네트워크의 취약점에 집중한다면, AI 레드티밍은 모델뿐 아니라 데이터, 애플리케이션, 제어 체계와 외부 연계까지 범위를 넓힙니다. 따라서 단순히 '이상 행동'을 유도하는 데 그치지 않고, 공격 입력에 대한 모델의 반응과 함께 어떤 도구·데이터·권한이 연결돼 있는지까지 확인해야 합니다.

2) AI 레드티밍 3단계 수행 프로세스

「AI 보안 레드티밍 가이드」는 관련 국제표준안(ISO/IEC AWI TS 42119-7)을 참고해 국내 기업·기관이 활용할 수 있는 수행 절차를 제시합니다. 전체 흐름은 '준비-이행-결과 보고'의 3단계로 정리할 수 있습니다.

1단계: 준비 과정 - 공격 범위와 시나리오 설계
준비 단계에서는 데이터, 모델, 애플리케이션, 인프라 등 공격 표면을 식별하고 점검 범위를 정합니다. 일반 사용자·악의적 사용자·내부 사용자 등 어떤 관점에서 공격을 시도할지 페르소나를 설정한 뒤, 실제 수행 가능한 공격 시나리오를 구성합니다. 특히 시작 전에는 대상 시스템 담당 부서, 보안 부서, 개발·운영 부서, 법무·개인정보 담당자 등과 사전 협의를 거쳐 허용 범위와 금지 행위, 데이터 사용 기준, 보고 절차, 중단 조건을 명확히 합의해야 합니다.

2단계: 이행 과정 - 자동화와 전문가 점검 병행
이행 단계에서는 시나리오에 따라 공격을 수행하고 결과와 영향을 기록합니다. 자동화 도구로 대량·반복 테스트를 진행해 위험 후보를 넓고 빠르게 찾고, 자동 판별이 불확실하거나 심각도·신규성이 높은 항목은 보안 전문가가 심층 검증합니다. 공격 성공 여부뿐 아니라 안전·품질·성능·연계 시스템에 미치는 영향도 함께 분석합니다. 가이드의 위험 등급 예시는 Critical(5)부터 Safe(1)까지 5단계로 제시됩니다.

3단계: 결과 보고 과정 - 개선 조치와 재검증
결과 보고 단계에서는 발견한 취약점의 기술적 내용과 비즈니스 영향을 종합해 보고서를 작성하고, 개선 계획과 후속 조치로 연결합니다. 가이드는 결과 보고서에 레드티밍 개요, 평가 범위, 취약점 요약, 항목별 상세 내역을 포함하도록 제시합니다. 조치 후에는 기존 공격 시나리오의 재검증과 회귀 테스트를 통해 보안 개선이 제대로 적용됐는지, 정상 기능에는 과도한 영향이 없는지 함께 확인하는 것이 중요합니다.

‍

■ 전문 보안팀이 없는 기업의 AI 보안 점검 시작점

이미지 출처 : Magnific

"AI를 직접 개발하지 않는데 우리도 AI 보안 점검이 필요할까?"라는 질문은 기업 규모와 관계없이 나올 수 있습니다. 판단 기준은 회사의 크기가 아니라 AI가 어떤 업무에 쓰이고, 어떤 데이터·시스템·권한과 연결돼 있는지입니다. 생성형 AI에 내부 문서나 고객정보를 입력하거나, AI 챗봇·에이전트가 사내 시스템·API를 호출하거나, 외부 AI 솔루션이 핵심 업무 프로세스에 연결돼 있다면 그 자체로 정보 유출, 권한 오남용, 잘못된 업무 처리 등 실제 보안·업무 위험으로 이어질 수 있습니다.

같은 AI를 사용하더라도 제조·금융·유통·의료 등 업종마다 다루는 데이터와 핵심 업무 시스템이 달라 필요한 점검 범위도 달라질 수 있습니다. 전문 보안팀이 없다면 처음부터 'AI 레드티밍을 해야 한다'고 결론 내리기보다, 먼저 ① 어떤 AI를 어디에 사용하는지 ② 민감정보가 입력·저장되는지 ③ 사내 시스템·API와 어떤 권한으로 연결되는지 ④ 외부 AI 서비스가 업무에 어떤 영향을 미치는지를 정리해보는 것이 좋습니다. 이 과정만으로도 우리 회사에서 우선 확인해야 할 위험 영역을 좁힐 수 있습니다.

내부 인력만으로 위험도를 판단하기 어렵다면 외부 보안 전문가와 함께 현재 구조를 점검하고, 일반 취약점 진단·모의해킹·AI 레드티밍 가운데 어떤 검증이 필요한지 범위를 정하는 방식이 현실적입니다. SK쉴더스 EQST는 다양한 산업의 모의해킹·침해 대응 경험과 위협 인텔리전스를 바탕으로 기업의 업종, 시스템 구성, AI 활용 방식에 맞는 공격 시나리오를 설계하고 검증을 지원합니다.

AI 보안 점검의 출발점은 거창한 레드팀 조직을 만드는 것이 아니라, 우리 회사의 AI 사용 환경에서 '무엇이 공격받을 수 있는지'를 먼저 파악하는 것입니다. SK쉴더스는 웹·모바일·시스템·네트워크·OT 등 다양한 환경의 모의해킹·취약점 진단을 제공하며, EQST는 공격자의 관점에서 취약점을 점검하고 조치 방안 제시, 보완 이행 확인, 재점검까지 지원합니다. 전문 보안팀이 없는 기업도 현재 환경과 위험도를 기준으로 필요한 점검 범위를 정해 단계적으로 시작할 수 있습니다.

AI 시스템의 보안은 방어 솔루션을 구축하는 것만으로 완성되지 않습니다. 실제 공격 경로를 가정해 통제가 제대로 작동하는지 검증하고, 발견된 취약점을 개선한 뒤 다시 확인하는 과정이 필요합니다. 어떤 점검부터 시작해야 할지 판단이 어렵다면, AI가 연결된 데이터·시스템·권한 구조부터 확인해 우리 기업에 필요한 검증 범위를 구체화하는 것이 첫 단계입니다. SK쉴더스 EQST는 이러한 환경 분석을 바탕으로 AI 레드팀과 모의해킹 등 기업별 보안 검증을 지원합니다.

‍

▶ SK쉴더스 모의해킹·취약점 진단 서비스 자세히 보기

‍

■ 자주 묻는 질문 (FAQ)

‍

Q1. AI 레드티밍과 기존 모의해킹은 무엇이 다른가요?

A. 기존 모의해킹은 웹·네트워크·시스템 등 IT 인프라의 기술적 취약점을 주로 점검합니다. AI 레드티밍은 여기에 모델·데이터·애플리케이션·외부 연계 구조를 포함하고, 프롬프트 인젝션·에이전트 하이재킹·메모리 오염 등 AI 고유 위협을 함께 검증합니다. 모델과 프롬프트, 데이터, 연결 기능이 계속 바뀔 수 있기 때문에 변경 이후 재검증이 중요합니다.

Q2. 우리 회사는 AI를 직접 개발하지 않는데도 AI 레드티밍이 필요한가요?

A. 단순히 외부 생성형 AI를 사용하는 것만으로 모든 기업에 AI 레드티밍이 필요한 것은 아닙니다. 다만 사내 데이터·고객정보를 입력하거나 AI 챗봇·에이전트가 내부 시스템 또는 API와 연결되는 등 영향 범위가 크다면 점검 필요성이 높아집니다. 먼저 AI 사용 현황과 데이터·권한·연계 구조를 파악하고, 위험도가 높은 영역부터 검증하는 것이 좋습니다.

Q3. 전문 보안팀이 없는 기업은 AI 보안 점검을 어떻게 시작해야 하나요?

A. 먼저 사내에서 사용하는 AI 서비스, 입력·처리하는 데이터, 연결된 시스템·API, 부여된 권한을 정리해 위험도가 높은 영역을 파악하는 것이 좋습니다. 내부에서 우선순위를 정하기 어렵다면 외부 전문조직의 진단을 통해 현재 환경에 필요한 취약점 진단·모의해킹·AI 레드티밍의 범위를 단계적으로 정할 수 있습니다.

Q4. AI 레드티밍은 한 번만 하면 되나요?

A. 한 번으로 끝내기보다 시스템 변화에 맞춰 반복하는 것이 좋습니다. KISA 가이드는 출시 후 정기 점검뿐 아니라 모델·프롬프트·데이터 변경 후 재검증 시점을 정의하도록 제시합니다. 새로운 기능이나 외부 연계가 추가되면 기존 공격 시나리오를 다시 수행하고, 필요한 경우 새로운 위협 시나리오를 보완해야 합니다.

[콘텐츠 출처]

"한달새 벌써 네 번 뚫렸다…AI '해킹사고' 왜 계속되나" (헤럴드경제, 2026.8.9.)

과기정통부·KISA, 'AI 보안 레드티밍 가이드' 발간 (디지털투데이, 2026.7.9.)

전문가 리포트 - 사이버보안 인사이트 | SK쉴더스

AI 에이전트 시대, 왜 'AI 레드티밍'은 필수 조건이 되었나｜(동아일보, 2026.08.06)

SK쉴더스 EQST, 데프콘 AI CTF서 5위 성과 (ZDNet, 2026.8.11.)

금융보안원, '2025년 AI 레드팀 보고서' 발간 (데일리시큐, 2025.12.30.)