핵심 POINT
악성 LLM 서비스가 유통되면서 피싱 문구 작성과 악성코드 개발을 보조받을 수 있게 돼, 공격 준비에 필요한 기술적 부담이 낮아지고 있습니다.
기업의 AI 활용과 관련 투자가 확대되는 가운데, 다양한 공격 징후를 통합적으로 분석하고 대응하는 보안 운영 체계의 중요성이 커지고 있습니다.
AI를 활용한 공격에 대응하기 위해서는 실제 시스템에서 발생하는 이상 징후를 탐지·분석하고, 전문 인력의 판단과 신속한 대응으로 연결하는 체계가 필요합니다.
생성형 AI는 업무 효율을 높이는 도구인 동시에, 공격자에게도 강력한 무기가 되고 있습니다. 기업이 생성형 AI를 도입하고 투자를 확대하는 사이, 공격자 역시 AI를 활용해 사이버 공격의 속도와 규모를 키우고 있습니다.
특히 주목해야 할 것은 '다크 AI'의 등장입니다. 안전장치가 제거되거나 사이버범죄 목적으로 제작된 악성 LLM이 다크웹과 텔레그램을 통해 구독형 서비스로 유통되면서, 전문 지식 없이도 정교한 피싱 메일을 작성하거나 악성코드를 생성할 수 있는 환경이 만들어지고 있습니다.
이번 글에서는 다크 AI가 무엇이고 어떤 유형이 있는지, 기업의 사이버 보안 체계는 어디에 사각지대가 있는지, 그리고 무엇을 점검해야 하는지 살펴봅니다.
■ 다크 AI란? 사이버범죄에 악용되는 AI 기술
출처 : Magnific
다크 AI는 사이버범죄 등 악의적인 목적으로 활용되는 AI 모델과 서비스, 관련 도구를 폭넓게 가리킵니다. 이 중 악성 LLM은 피싱, 사기, 악성코드 개발 등을 지원한다고 광고하거나 그러한 목적으로 구성 및 유통되는 언어모델 기반 서비스입니다. 일부는 별도의 모델로 개발되지만, 기존 AI 모델의 안전장치를 우회하거나 공개 모델을 변형해 제공하는 형태도 존재합니다.
다크웹과 텔레그램 등에서는 사이버범죄 지원을 표방하는 악성 LLM이 구독형 서비스로 유통되고 있습니다. 이들 서비스는 피싱 메시지 작성이나 악성코드 개발 등을 지원한다고 홍보하며, 전문성이 부족한 공격자도 공격 준비에 필요한 시간과 노력을 줄일 수 있도록 하고 있습니다. 다만 실제 기술 수준과 제공 기능에는 차이가 있어, 서비스 이용만으로 고도화된 공격을 수행할 수 있다고 단정하기는 어렵습니다.
■ 악성 LLM의 주요 유형과 유통 방식
출처 : Magnific
1) 범죄 지원을 목적으로 유통되는 악성 LLM
피싱 메시지 작성이나 악성코드 개발 등 사이버범죄에 필요한 작업을 지원한다고 홍보하며 유통되는 AI 서비스입니다. 일부는 독자적으로 개발한 모델을 내세우지만, 기존 언어모델을 변형하거나 안전장치를 우회하는 방식으로 제공되기도 합니다.
대표적인 사례로는 웜GPT(WormGPT), 프로드GPT(FraudGPT), 고스트GPT(GhostGPT) 등이 있습니다.
• 웜GPT(WormGPT): 악성코드 제작·피싱 지원을 표방한 AI. 악성코드 작성과 피싱 메시지 생성 등을 지원하는 범죄용 AI로 알려졌습니다.
• 프로드GPT(FraudGPT): 사기·피싱 지원을 표방한 AI. 피싱 이메일과 사기용 웹페이지 제작, 취약점 탐색 등을 지원한다고 광고된 서비스입니다.
• 고스트GPT(GhostGPT): 메신저를 통해 판매된 안전장치 우회형 AI. 텔레그램을 통해 판매된 사례로, 기존 언어모델의 제한을 우회한 서비스일 가능성이 제기됐습니다.
이러한 서비스는 공격 준비에 필요한 시간과 기술적 부담을 줄일 수 있지만, 판매자가 홍보하는 기능과 실제로 검증된 성능은 구분해야 합니다.
2) 공개 AI 모델의 변형과 악용
공개적으로 제공되는 AI 모델을 범죄 목적에 맞게 수정하거나 안전장치를 제거해 악용하는 방식입니다. 공격자는 모델을 자체 환경에서 실행하거나 추가 학습·설정을 통해 특정 작업을 수행하도록 만들 수 있습니다.
다만 안전장치가 제한된 공개 모델이 모두 악성 AI인 것은 아닙니다. 모델의 공개 여부보다 실제 사용 목적과 악의적인 변형·활용 여부를 구분하는 것이 중요합니다.
3) 상용 생성형 AI의 안전장치 우회
별도의 악성 모델을 개발하지 않고, 기존 상용 생성형 AI의 안전장치를 우회해 공격 관련 답변을 유도하는 방식입니다.
대표적으로 탈옥(Jailbreaking)은 특정 프롬프트를 이용해 AI의 응답 제한을 우회하려는 기법입니다. 이러한 우회 방법을 공유하거나 서비스 형태로 제공하는 사례도 등장하고 있습니다. 이는 독립적인 악성 LLM의 종류라기보다 정상적인 AI 서비스를 악의적으로 활용하는 방식이라고 할 수 있습니다.
■ 피싱부터 악성코드까지, 악성 LLM의 공격 활용 방식
출처 : Magnific
악성 LLM의 주요 위험은 누구나 고도화된 해킹에 성공하게 만든다는 데 있지 않습니다. 공격자가 정보를 수집하고 피싱 메시지를 작성하거나 악성코드를 개발하는 과정에서 필요한 시간과 기술적 부담을 줄일 수 있다는 점이 핵심입니다.
대표적인 활용 방식은 다음과 같습니다.
• 피싱 메시지 제작: 자연스러운 문장과 다양한 언어로 피싱 메시지를 작성하고, 공격 대상에 맞게 내용을 수정하는 작업을 지원합니다.
• 악성코드 개발 보조: 악성코드의 기초 코드 작성이나 기존 코드 수정, 오류 해결 등에 활용될 수 있습니다.
• 사회공학 공격: 기업 이메일 사기(BEC) 등에 사용할 사칭 메시지와 대화 시나리오를 만드는 데 활용될 수 있습니다.
• 취약점 분석 지원: 공개된 취약점 정보를 분석하고 공격 가능성을 검토하거나 관련 코드 작성을 보조할 수 있습니다.
이처럼 AI는 공격 준비와 반복 작업을 효율화하는 수단으로 활용될 수 있습니다. 다만 실제 공격 성공 여부는 대상 시스템의 취약점, 공격자의 기술 수준, 기업의 방어 체계 등 다양한 조건에 따라 달라지므로 AI 사용 자체가 공격 성공을 보장하는 것은 아닙니다.
■ AI를 결합한 악성코드, 실제 공격 및 실험 사례
AI의 사이버범죄 활용은 피싱 문구 작성이나 악성코드 제작 지원을 넘어, 실제 악성코드의 실행 과정에 AI를 결합하는 형태로도 나타나고 있습니다.
구글 위협 인텔리전스 그룹(GTIG)은 러시아 연계 해킹조직 APT28이 우크라이나를 겨냥한 작전에 사용한 악성코드 '프롬프트스틸(PROMPTSTEAL)'을 분석했습니다. 해당 악성코드는 실행 과정에서 언어모델에 질의해 시스템 정보와 문서 등을 수집하기 위한 명령을 생성하는 방식으로 작동했습니다.
또 다른 사례인 '프롬프트플럭스(PROMPTFLUX)'는 구글의 생성형 AI API를 활용해 악성코드의 소스코드를 다시 작성하도록 설계된 실험적 악성코드입니다. 다만 구글은 분석 당시 해당 악성코드가 시험 단계에 있었으며, 실제 피해 환경을 성공적으로 침해한 사례는 확인되지 않았다고 설명했습니다.
두 사례는 AI가 공격 준비를 보조하는 수준을 넘어 악성코드의 실행과 변형 과정에도 활용될 수 있음을 보여줍니다. 다만 기존 LLM을 악용한 사례라는 점에서, 다크웹에서 판매되는 악성 LLM 서비스 자체가 이러한 공격을 수행했다고 해석해서는 안 됩니다.
■ AI 활용 확대 속 기업의 AI 보안 과제
출처 : Magnific
기업의 생성형 AI 활용과 관련 투자는 확대되고 있지만, 새로운 사이버 위협에 대응할 보안 운영 체계는 여전히 과제로 남아 있습니다.
최근 포티넷이 포레스터에 의뢰해 실시한 아시아·태평양(APAC) 지역 보안 조사에서 한국의 사이버보안 의사결정권자 54명 중 91%가 AI 관련 보안 예산을 늘릴 계획이라고 응답한 반면, 통합 보안 플랫폼을 운영하고 있다는 응답은 20%에 그쳤습니다. 이는 조사에 참여한 조직에서 AI 관련 투자 계획과 보안 운영 체계의 통합 수준 사이에 차이가 있음을 보여줍니다.
공격자들이 AI를 활용해 피싱 메시지 작성과 악성코드 개발 등 공격 준비 과정을 효율화하면서, 기업 역시 새로운 공격 징후를 신속하게 탐지하고 분석하는 역량을 갖춰야 합니다.
특히 계정 접근, 악성코드 실행, 비정상적인 외부 통신 등 여러 영역의 이상 징후를 연계 분석하는 것이 중요합니다. 이를 위해 기업이 우선적으로 점검해야 할 보안 항목은 다음과 같습니다.
| 점검 항목 | 주요 확인 내용 |
|---|---|
| 피싱∙사칭 대응 | 자금 이체·계정정보 제공 등 중요 요청 시 별도 채널을 통한 발신자 및 요청 내용 확인 |
| 악성코드 탐지 | 신종·변형 악성코드의 실행 여부와 비정상적인 프로세스 활동 모니터링 |
| 취약점 관리 | 외부 노출 시스템의 취약점 식별 및 보안 패치·개선 조치 |
| 이상행위 분석 | 비정상 로그인·권한 변경·의심스러운 외부 통신에 대한 연계 분석 |
| 사고 대응 | 위협 탐지 이후 담당자 확인·시스템 격리·후속 조치 절차 마련 |
[표] 악성 LLM을 활용한 사이버 공격, 기업이 점검해야 할 보안 항목
AI를 활용해 악성코드를 제작하거나 변형하는 방식이 다양해지면서, 알려진 파일이나 패턴을 중심으로 한 탐지만으로는 일부 새로운 위협을 놓칠 수 있습니다. 따라서 악성코드 실행과 계정 활동, 외부 통신 등 실제 시스템에서 발생하는 이상행위를 함께 분석하는 대응 체계가 중요합니다.
기업은 AI가 생성한 공격인지 여부만을 구분하려 하기보다, 공격이 실제 시스템에서 어떤 행동으로 나타나는지 확인하고 이를 신속하게 탐지·대응할 수 있는지 점검해야 합니다.
■ AI 보안의 핵심, 통합 위협 분석과 전문 보안관제
출처 : Magnific
AI를 활용한 사이버 공격이 다양해지면서 기업에는 새로운 공격 방식을 이해하는 것뿐 아니라, 실제 시스템에서 발생하는 이상 징후를 빠르게 찾아내고 위협 여부를 판단하는 역량이 요구되고 있습니다.
특히 피싱으로 탈취된 계정의 비정상적인 접근, 악성코드 실행, 의심스러운 외부 통신 등 개별적인 보안 이벤트를 연결해 분석하면 공격의 흐름을 파악하고 대응 우선순위를 결정하는 데 도움이 될 수 있습니다.
SK쉴더스는 AI 기반 위협 분석 기술을 적용한 보안관제 플랫폼 '시큐디움(Secudium)'을 MXDR 체계로 고도화하고, 다양한 보안 영역에서 발생하는 이벤트를 통합 분석해 전문 보안 인력의 판단과 대응으로 연계하는 역량을 강화하고 있습니다.
AI 시대의 보안은 새로운 기술을 도입하는 것뿐 아니라, 변화하는 공격 징후를 지속적으로 관찰하고 실제 위험에 신속하게 대응할 수 있는 체계를 갖추는 것이 중요합니다.
■ 자주 묻는 질문
Q1. 다크 AI는 실제로 얼마나 위험한가요?
A. 다크 AI가 누구나 고도화된 해킹을 성공시킬 수 있도록 만드는 것은 아닙니다. 다만 피싱 메시지 작성, 악성코드 개발 보조 등 공격 준비에 필요한 시간과 기술적 부담을 낮춰 더 많은 공격 시도가 이뤄질 수 있다는 점에서 주의가 필요합니다.
Q2. 악성 LLM이 만든 피싱이나 악성코드를 별도로 구분할 수 있나요?
A. AI로 생성했다는 사실만을 기준으로 공격 여부를 판단하기는 어렵습니다. 피싱 메일은 발신자와 요청 내용, 링크·첨부파일 등을 종합적으로 확인하고, 악성코드는 실행 행위와 외부 통신 등 실제 위협 징후를 분석하는 것이 중요합니다.
Q3. 생성형 AI가 만든 피싱은 어떻게 구분하나요?
A. AI로 작성된 피싱 메일은 자연스러운 문장과 상황에 맞는 표현을 사용할 수 있어 문법 오류만으로 판단하기 어렵습니다. 자금 이체, 계정정보 제공, 파일 다운로드 등 중요한 요청이 들어오면 발신자 주소와 링크를 확인하고, 필요할 경우 전화나 사내 메신저 등 별도의 채널로 요청의 진위를 확인해야 합니다.
Q4. 기업은 악성 LLM 위협에 어떻게 대비해야 하나요?
A. 우선 피싱·사칭에 대한 확인 절차와 임직원 보안 교육을 점검해야 합니다. 이후 악성코드의 이상행위 탐지, 계정 접근 모니터링, 취약점 관리, 사고 대응 절차 등 기존 보안 체계가 새로운 공격 방식에도 충분히 대응할 수 있는지 확인하는 것이 중요합니다.
[참고자료]
"다크 AI 생태계 확산...악성 LLM 200종 이상 다크웹 유통" | 보안뉴스
AI 서비스 취약점 10배 급증…"LLM 보안 비상" | 전남일보
GTIG AI Threat Tracker: Advances in Threat Actor Usage of AI Tools | GTIG
포티넷, 'APAC 지역 AI 보안 운영 현황' 조사 발표...AI 보안 투자 확대에도 통합 기반 미흡 | 포티넷
