OWASP Top 10 2025 기반 LLM 애플리케이션 서비스 보안 준수 가이드

LLM 애플리케이션 서비스 보안 가이드 (OWASP Top 10 for LLM Applications 2025)

LLM(대규모 언어 모델, Large Language Model)은 기업 내 다양한 서비스와 프로세스 자동화에 활용되고 있으나, 잘못된 설계·운영은 심각한 보안 위협으로 이어질 수 있습니다. OWASP는 이를 위해 OWASP Top 10 for LLM Applications 2025을 발표하여 주요 보안 취약점과 대응 방안을 제시하였습니다. 내부 애플리케이션 및 서비스에서 LLM을 활용할 때 준수해야 할 보안 가이드입니다.

OWASP Top 10 LLM 취약점 및 가이드

1) Prompt Injection (프롬프트 인젝션)

• 위협: 공격자가 입력을 조작하여 모델이 의도하지 않은 동작을 수행하도록 유도
• 가이드
  • 사용자 입력과 시스템 프롬프트를 분리 관리
  • 신뢰할 수 없는 입력을 LLM에 직접 전달하지 않고 정규화/필터링
  • 모델 응답에 대한 후처리(Validation Layer) 적용

2) Insecure Output Handling (출력 처리 미흡)

• 위협: 모델 출력이 다른 시스템 명령이나 API 호출에 직접 사용될 때 발생
• 가이드
  • 모델 응답을 실행하기 전에 Sandbox 환경에서 검증
  • 응답 결과를 구조화(JSON 등) 후 스키마 검증 필수 적용

3) Training Data Poisoning (학습 데이터 오염)

• 위협: 악성 데이터가 학습에 포함되어 모델의 응답을 왜곡
• 가이드
  • 학습/파인튜닝 데이터에 대해 출처 검증 및 무결성 검증(Hash, 서명 등)
  • 외부 데이터 소스는 화이트리스트 기반 승인 후 반영

4) Model Denial of Service (모델 DoS)

• 위협: 과도한 요청, 복잡한 쿼리로 자원 고갈
• 가이드
  • 요청 크기, 토큰 수, 호출 빈도에 대한 Rate Limiting 적용
  • 모니터링 및 알림 체계 구축 (예: Prometheus + Alertmanager)

5) Supply Chain Vulnerabilities (공급망 취약점)

• 위협: 오픈소스 모델, 라이브러리, 프롬프트 마켓 등에서 악성 요소 유입
• 가이드
  • 모델, 프롬프트, 패키지 관리 시 SBOM(Software Bill of Materials) 작성
  • 취약점 스캐너(OSV-Scanner, Semgrep 등) 활용

6) Sensitive Information Disclosure (민감 정보 노출)

• 위협: 모델 응답에 내부 비밀(계정, 키, 고객 정보 등)이 포함
• 가이드
  • DLP(Data Loss Prevention) 정책 적용
  • 응답 로그 저장 시 민감정보 마스킹/암호화
  • 내부 데이터는 LLM 접근 최소화(Least Privilege)

7) Insecure Plugin / Tool Use (취약한 플러그인/툴 활용)

• 위협: LLM이 외부 플러그인(API, DB, Shell 등)을 안전하지 않게 호출
• 가이드
  • API Key, 권한, 네트워크 접근을 최소 권한 원칙으로 관리
  • 플러그인 호출 시 승인/거부 정책 게이트웨이 적용

8) Excessive Agency (과도한 자율 실행)

• 위협: 모델이 통제되지 않은 자동화 동작을 실행
• 가이드
  • Human-in-the-loop 승인 체계 적용
  • 중요 작업(결제, DB 변경 등)은 이중 확인 프로세스

9) Overreliance on LLM (LLM 의존 과다)

• 위협: 모델 출력에 대한 맹신으로 인해 보안/업무 오류 발생
• 가이드
  • 모델 출력은 Rule-based Validation과 병행
  • Ensemble Approach(다중 모델 검증) 적용

10) Model Theft / Extraction (모델 도난 및 추출)

• 위협: 공격자가 모델 파라미터, 아키텍처, 응답을 통해 모델을 복제
• 가이드
  • API 응답에 Rate Limit + Response Obfuscation 적용
  • 모델 접근은 IAM(Identity & Access Management) 기반으로 통제

300x250

내부 보안 점검 포인트

1. 설계 단계
   • 데이터 출처 검증
   • 민감정보 처리 프로세스 정의
   • 프롬프트 정책 관리 문서화
2. 개발 단계
   • 입력/출력 Validation 코드 포함 여부 점검
   • 서드파티 패키지 취약점 점검(OSV, pip-audit 등)
3. 운영 단계
   • 모델 호출 로그 수집 및 보안 이벤트 모니터링
   • Rate Limit, WAF, EDR 적용 여부 확인
   • 사고 대응 프로세스 마련 (TheHive, Wazuh 연계 등)

권장 보안 도구/솔루션

• 프롬프트 보안: Guardrails.ai, LangKit
• 취약점 스캐닝: OSV-Scanner, Semgrep, Trivy
• DLP/민감정보 관리: Wazuh, Elastic Defend
• 운영 모니터링: Prometheus, Grafana, SIEM 연계

 

LLM 보안은 단순히 모델 자체 보호를 넘어, 데이터 → 프롬프트 → 모델 → 출력 → 실행 → 로그 전 과정을 아우르는 종합적인 접근이 필요합니다. OWASP Top 10 for LLM Applications 2025를 기반으로 본 가이드를 준수하여, 내부 애플리케이션이 안전하게 운영될 수 있도록 해야 합니다.

TopTenForLLM-ko_KR LLM 애플리케이션을 위한 OWASP Top 10 2025.pdf

2.97MB

출처 : OWASP