본문 바로가기

kafka12

728x90
API·AI·Kafka 경계에서 끝내는 보안 표준화 게이트웨이 보안 통제 플랫폼 Kong 3종 게이트웨이 완전 정복 API·AI·Kafka를 한 번에 통제 Kong Gateway(HTTP API) / Kong AI Gateway(LLM·에이전트) / Kong Event Gateway(Kafka 프록시)Kong 게이트웨이 3종 세트: API부터 에이전트·이벤트까지 ‘경계 통제’ 아키텍처AI 시대의 게이트웨이 보안: Kong으로 API·프롬프트·이벤트를 통제하는 방법프롬프트 유출·토큰 폭주·Kafka 난립, Kong으로 한 번에 잡는 거버넌스왜 “게이트웨이 3종 세트”가 필요한가?요즘 서비스는 트래픽이 3종류로 갈라져요.HTTP API: 웹/앱/외부 파트너가 호출하는 일반 API 트래픽LLM·에이전트: 프롬프트/응답, 툴 호출, MCP 같은 “AI 트래픽”Kafka 이벤트: 주문·결제·.. 2026. 1. 2.
Kafka 클라우드 전환 전략: 오브젝트 스토리지 시대의 보안과 안정성 Apache Kafka의 “디스크리스(Diskless)” 또는 “직접 S3(오브젝트 스토리지) 적용” 설계 방향의 기술 배경 및 고려할 점입니다.개요 및 배경최근 Kafka 커뮤니티에서는 여러 KIP (Kafka Improvement Proposal) 가 동시다발적으로 제안되었고, 그 중심 주제는 바로 클라우드 가용영역(AZ) 간 복제 비용 및 오브젝트 스토리지 활용입니다.단순히 기술적 선택지로만 다루는 것이 아니라, Kafka가 앞으로 “어떤 시스템이 될 것인가?”라는 방향성 차원에서 접근하고 있습니다.요약하자면전통적으로 Kafka는 디스크 기반 로그 세그먼트를 이용해, 리더-팔로워 복제 모델로 데이터를 보관하고 높은 처리량/낮은 지연(latency)을 확보해 왔습니다.그러나 클라우드·멀티 AZ 환경에.. 2025. 11. 4.
데이터 변경 이력 기록 및 효율적인 히스토리 추적 관리 전략 데이터베이스에서 변경된 사항만 확인하는 구조를 만드는 방법은 여러 가지가 있습니다. 일반적인 RDBMS에서도 이러한 기능을 구현할 수 있지만, 특정한 요구사항에 따라 다른 접근 방법이 필요할 수도 있습니다.트리거(Trigger): 데이터베이스의 트리거 기능을 사용하여 데이터 변경 시 로그 테이블에 기록을 남기도록 설정할 수 있습니다. 이렇게 하면 변경 사항을 쉽게 추적할 수 있습니다.변경 데이터 캡처(Change Data Capture, CDC): 많은 RDBMS가 CDC 기능을 제공하여 테이블의 변경 사항을 캡처하고 이를 별도의 테이블이나 로그로 기록합니다. 이를 통해 변경된 데이터만 추출할 수 있습니다.타임스탬프 필드 사용: 테이블에 'last_updated'와 같은 타임스탬프 필드를 추가하여 레코드.. 2025. 2. 16.
Kubernetes 클러스터 Kafka 및 Kafka UI 설치 및 활용 방법 Kafka는 분산 스트리밍 플랫폼으로, 대규모 데이터 스트림을 실시간으로 처리하고 저장하는 데 사용됩니다. 간단하게 말하면, Kafka는 많은 데이터를 빠르게 주고받을 수 있는 메시징 시스템이라고 할 수 있습니다. 기본적으로 Kafka는 데이터의 생산자(producer)와 소비자(consumer) 간에 데이터를 중개하는 역할을 합니다. Kafka의 주요 개념을 쉽게 설명하면 다음과 같습니다.1. 메시지(Message)Kafka에서 주고받는 데이터의 단위를 메시지라고 합니다. 메시지는 주로 텍스트, 숫자, JSON과 같은 간단한 데이터 형식으로 표현됩니다.2. 토픽(Topic)메시지가 저장되는 장소를 토픽이라고 부릅니다. Kafka는 데이터를 여러 토픽으로 구분하여 저장할 수 있으며, 각각의 토픽은 논리적.. 2024. 10. 26.
Zookeeper, Storm, Kafka, Elasticsearch 클러스터 고가용성 구성 Zookeeper, Storm, Kafka, Elasticsearch 클러스터를 고가용성으로 구성하는 것은 데이터의 안정적인 수집, 처리, 저장을 보장하는 데 중요합니다. 각 구성 요소는 다음과 같은 역할을 합니다.Zookeeper: 분산 애플리케이션을 위한 중앙 집중형 서비스로, Kafka 및 Storm의 클러스터 관리에 사용됩니다.Kafka: 고성능 메시징 시스템으로, 데이터를 수집하여 Storm으로 전달합니다.Storm: 실시간 데이터 처리 시스템으로, 데이터를 처리한 후 Elasticsearch에 저장합니다.Elasticsearch: 분산 검색 및 분석 엔진으로, 최종 데이터를 저장하고 검색합니다.1. Zookeeper 클러스터 구성서버 준비: 최소 3대의 서버를 준비합니다.Zookeeper 설치.. 2024. 10. 23.
728x90
728x90

티스토리툴바