본문 바로가기

Prompt Injection11

728x90
AI Agent 시대의 새로운 위협: Bedrock 공격 벡터 8가지와 방어 가이드 AWS Bedrock에서 발견된 8가지 AI 공격 벡터 분석(AI Agent / Code Interpreter 기반 공격 모델)왜 Bedrock이 공격 표면이 되는가?AWS Bedrock Agent + Code Interpreter 구조는 다음 특징을 가짐LLM이 코드를 생성 → 실행실행 환경은 Sandbox (격리 환경)IAM Role 기반으로 AWS 리소스 접근즉, 단순 AI가 아니라 “코드를 실행하는 자동화된 클라우드 사용자”로 동작핵심 문제LLM 입력 → 코드 생성 → 실제 실행잘못된 입력 = 실행 가능한 공격 코드기존 웹 취약점 + AI 특성 결합된 신종 공격 표면8가지 공격 벡터 (핵심 구조별 정리)Prompt Injection (입력 기반 코드 오염)개념AI가 처리하는 데이터(예: CSV, .. 2026. 3. 24.
AI 스킬 검증 실전: 개인정보·민감정보 누출을 찾고 측정하고 고치는 방법 목표는 AI 에이전트 스킬(skill)을 개인정보·민감정보·주요정보 관점에서 직접 테스트·검증 가능한 방안으로 실무에서 그대로 따라 해볼 수 있도록 절차, 예제(명령어/스크립트/프롬프트), 체크리스트, 측정 지표, 보고서 템플릿까지 포함합니다. 에이전트 스킬은 편리하지만, 스킬이 내부 데이터 접근/도구 실행/파일·API 호출을 하도록 설계되어 있다면 개인정보(PII)·민감정보·주요정보 누출 위험이 큽니다. 따라서 테스트 데이터 생성 → 유닛/통합/엔드투엔드 테스트 → 레드팀(공격 시나리오) → 측정(지표) → 개선(재검증)의 순환적 프로세스를 운영해야 합니다.배경 및 왜 중요한가스킬은 ChatGPT/Claude 같은 에이전트에게 재사용 가능한 업무 규칙, 스크립트, 자산(템플릿) 등을 제공하여 자동화 품.. 2026. 3. 15.
웹 UI 자동화의 다음 단계 브라우저 기반 AI 에이전트 PageAgent 아키텍처 PageAgent는 Alibaba에서 공개한 웹 페이지 내부에서 실행되는 AI 에이전트 라이브러리입니다.쉽게 말하면 “웹 페이지를 AI가 직접 조작하도록 만드는 JavaScript Agent” 입니다.예를 들어 사용자가 이렇게 말하면"로그인 버튼을 클릭하고 설정 페이지로 이동해줘"AI가 실제로 버튼 클릭 → 페이지 이동 → 입력 → 스크롤 등을 실행합니다.PageAgent 한 줄 정의웹 페이지에 삽입되는 Client-side AI GUI Agent즉LLM + DOM 분석 + UI 자동화이 결합된 구조입니다.핵심 특징브라우저 내부에서 실행되는 Agent기존 웹 자동화PlaywrightSeleniumbrowser-use이들은외부 프로그램 → 브라우저 제어하지만 PageAgent는웹 페이지 내부 JS ↓D.. 2026. 3. 13.
Human-in-the-Loop: 안전한 AI 에이전트 자동화와 인간 검증 설계 원칙 AI 에이전트는 “효율성”과 “위험”을 동시에 증폭시킵니다. 따라서 안전한 운영을 위해서는 워크플로우 자동화(Deterministic), AI 추론(Probabilistic), 사람의 검증(Human-in-the-loop) 이 세 축을 결합해야 합니다. 또한 권한·감사·검증·모니터링이 설계 초기에 반영되어야 합니다.AI Agent 운영 아키텍처 (Enterprise reference architecture)구성 요소 (상위 레벨)외부 트리거 레이어: Webhook, 메시지 큐, 스케줄러, SIEM 알람 등Orchestration 레이어: Workflow 엔진 (n8n, Airflow, Argo Workflows 등)AI 추론 레이어: LLM / ML 모델 (내부 모델 또는 외부 API)Tooling / .. 2026. 3. 11.
AI 사용자·프롬프트·에이전트 환경 보안 모니터링 및 대응 체계 설계와 POC 전체 개념과 목표 — 무엇을 왜 보호하는가목표: AI를 사용하는 모든 접점(사용자 프롬프트, 애플리케이션, 에이전트, API/게이트웨이, 모델/데이터·학습 파이프라인)을 대상으로 가시성 → 탐지 → 분석 → 자동/수동 대응 → 보안정책 적용의 순환을 만들고 위험(프롬프트 인젝션, 데이터 유출, 모델·데이터 포이즈닝, 비정상 에이전트 행위 등)을 낮추는 것입니다.핵심 원칙: 최소권한, 방어 심층화(Defense-in-depth), 적응형 탐지(행위·콘텍스트 기반), 검증 가능한 대응(감사·무결성), 프라이버시 보호(마스킹·Pseudonymization).보호 대상(공격 표면) — 구체 항목사용자 프롬프트 레이어: 브라우저/클라이언트에서 모델로 전송되는 텍스트(멀티턴 포함)AI 에이전트(Non-human i.. 2026. 3. 10.
728x90
728x90

티스토리툴바