kafka14 728x90 Claude SDK 기반 멀티 동시성 처리 Rate Limit, Queue, Worker 구조 Claude SDK 자체도 비동기(async) 처리나 병렬 요청 구조를 지원하는 형태로 사용할 수 있어서, 동시에 여러 요청을 처리하는 멀티 처리 구조를 만들 수 있습니다.다만 여기서 구분해야 하는 게 있습니다.Claude SDK 자체의 동시성(concurrency)실제 모델 API의 rate limit / throughput 제한애플리케이션 서버 구조Streaming 처리 여부Context isolation 문제이걸 각각 나눠서 봐야 합니다.기본적으로 가능한 구조대표적으로 아래 형태들이 가능합니다.asyncio 기반 비동기 처리ThreadPool 기반 병렬 처리multiprocessing 기반 프로세스 분리FastAPI/Uvicorn/Gunicorn 기반 동시 API 처리Queue 기반 Worker 처.. 2026. 4. 25. 대량 보안 Syslog 수집 환경에서의 스트리밍 기반 중복 제거 아키텍처 설계 파일 I/O 중심 Syslog 구조를 벗어나기: Kafka 스트리밍 기반 Dedup 설계 보안 로그 대량 유입 대응을 위한 스트리밍 Dedup 파이프라인 Raw 로그 보존과 운영 효율을 동시에 만족하는 보안 로그 Dedup 구조 대량 방화벽 트래픽 로그를 위한 실전 Kafka Dedup 아키텍처 보안 로그는 지우지 않고 요약한다: Raw 보존 기반 Dedup 전략 배경과 상황 정리현재 운영 방식(문제의 출발점)여러 개의 rsyslog 서비스를 각각 띄워서,특정 송신지(IP) 또는 장비별로서로 다른 디렉터리에 파일을 저장하는 구조로 운영 중이었습니다.보안 솔루션(방화벽/EDR/DLP/AV 등)별로 로그가 분산 저장되어 관리가 복잡해지고,특히 방화벽(FortiGate류)의 트래픽 로그처럼 대량 로그(E.. 2026. 1. 16. API·AI·Kafka 경계에서 끝내는 보안 표준화 게이트웨이 보안 통제 플랫폼 Kong 3종 게이트웨이 완전 정복 API·AI·Kafka를 한 번에 통제 Kong Gateway(HTTP API) / Kong AI Gateway(LLM·에이전트) / Kong Event Gateway(Kafka 프록시)Kong 게이트웨이 3종 세트: API부터 에이전트·이벤트까지 ‘경계 통제’ 아키텍처AI 시대의 게이트웨이 보안: Kong으로 API·프롬프트·이벤트를 통제하는 방법프롬프트 유출·토큰 폭주·Kafka 난립, Kong으로 한 번에 잡는 거버넌스왜 “게이트웨이 3종 세트”가 필요한가?요즘 서비스는 트래픽이 3종류로 갈라져요.HTTP API: 웹/앱/외부 파트너가 호출하는 일반 API 트래픽LLM·에이전트: 프롬프트/응답, 툴 호출, MCP 같은 “AI 트래픽”Kafka 이벤트: 주문·결제·.. 2026. 1. 2. Kafka 클라우드 전환 전략: 오브젝트 스토리지 시대의 보안과 안정성 Apache Kafka의 “디스크리스(Diskless)” 또는 “직접 S3(오브젝트 스토리지) 적용” 설계 방향의 기술 배경 및 고려할 점입니다.개요 및 배경최근 Kafka 커뮤니티에서는 여러 KIP (Kafka Improvement Proposal) 가 동시다발적으로 제안되었고, 그 중심 주제는 바로 클라우드 가용영역(AZ) 간 복제 비용 및 오브젝트 스토리지 활용입니다.단순히 기술적 선택지로만 다루는 것이 아니라, Kafka가 앞으로 “어떤 시스템이 될 것인가?”라는 방향성 차원에서 접근하고 있습니다.요약하자면전통적으로 Kafka는 디스크 기반 로그 세그먼트를 이용해, 리더-팔로워 복제 모델로 데이터를 보관하고 높은 처리량/낮은 지연(latency)을 확보해 왔습니다.그러나 클라우드·멀티 AZ 환경에.. 2025. 11. 4. 데이터 변경 이력 기록 및 효율적인 히스토리 추적 관리 전략 데이터베이스에서 변경된 사항만 확인하는 구조를 만드는 방법은 여러 가지가 있습니다. 일반적인 RDBMS에서도 이러한 기능을 구현할 수 있지만, 특정한 요구사항에 따라 다른 접근 방법이 필요할 수도 있습니다.트리거(Trigger): 데이터베이스의 트리거 기능을 사용하여 데이터 변경 시 로그 테이블에 기록을 남기도록 설정할 수 있습니다. 이렇게 하면 변경 사항을 쉽게 추적할 수 있습니다.변경 데이터 캡처(Change Data Capture, CDC): 많은 RDBMS가 CDC 기능을 제공하여 테이블의 변경 사항을 캡처하고 이를 별도의 테이블이나 로그로 기록합니다. 이를 통해 변경된 데이터만 추출할 수 있습니다.타임스탬프 필드 사용: 테이블에 'last_updated'와 같은 타임스탬프 필드를 추가하여 레코드.. 2025. 2. 16. 이전 1 2 3 다음 728x90 728x90
