본문 바로가기

kafka11

728x90
Kafka 클라우드 전환 전략: 오브젝트 스토리지 시대의 보안과 안정성 Apache Kafka의 “디스크리스(Diskless)” 또는 “직접 S3(오브젝트 스토리지) 적용” 설계 방향의 기술 배경 및 고려할 점입니다.개요 및 배경최근 Kafka 커뮤니티에서는 여러 KIP (Kafka Improvement Proposal) 가 동시다발적으로 제안되었고, 그 중심 주제는 바로 클라우드 가용영역(AZ) 간 복제 비용 및 오브젝트 스토리지 활용입니다.단순히 기술적 선택지로만 다루는 것이 아니라, Kafka가 앞으로 “어떤 시스템이 될 것인가?”라는 방향성 차원에서 접근하고 있습니다.요약하자면전통적으로 Kafka는 디스크 기반 로그 세그먼트를 이용해, 리더-팔로워 복제 모델로 데이터를 보관하고 높은 처리량/낮은 지연(latency)을 확보해 왔습니다.그러나 클라우드·멀티 AZ 환경에.. 2025. 11. 4.
데이터 변경 이력 기록 및 효율적인 히스토리 추적 관리 전략 데이터베이스에서 변경된 사항만 확인하는 구조를 만드는 방법은 여러 가지가 있습니다. 일반적인 RDBMS에서도 이러한 기능을 구현할 수 있지만, 특정한 요구사항에 따라 다른 접근 방법이 필요할 수도 있습니다.트리거(Trigger): 데이터베이스의 트리거 기능을 사용하여 데이터 변경 시 로그 테이블에 기록을 남기도록 설정할 수 있습니다. 이렇게 하면 변경 사항을 쉽게 추적할 수 있습니다.변경 데이터 캡처(Change Data Capture, CDC): 많은 RDBMS가 CDC 기능을 제공하여 테이블의 변경 사항을 캡처하고 이를 별도의 테이블이나 로그로 기록합니다. 이를 통해 변경된 데이터만 추출할 수 있습니다.타임스탬프 필드 사용: 테이블에 'last_updated'와 같은 타임스탬프 필드를 추가하여 레코드.. 2025. 2. 16.
Kubernetes 클러스터 Kafka 및 Kafka UI 설치 및 활용 방법 Kafka는 분산 스트리밍 플랫폼으로, 대규모 데이터 스트림을 실시간으로 처리하고 저장하는 데 사용됩니다. 간단하게 말하면, Kafka는 많은 데이터를 빠르게 주고받을 수 있는 메시징 시스템이라고 할 수 있습니다. 기본적으로 Kafka는 데이터의 생산자(producer)와 소비자(consumer) 간에 데이터를 중개하는 역할을 합니다. Kafka의 주요 개념을 쉽게 설명하면 다음과 같습니다.1. 메시지(Message)Kafka에서 주고받는 데이터의 단위를 메시지라고 합니다. 메시지는 주로 텍스트, 숫자, JSON과 같은 간단한 데이터 형식으로 표현됩니다.2. 토픽(Topic)메시지가 저장되는 장소를 토픽이라고 부릅니다. Kafka는 데이터를 여러 토픽으로 구분하여 저장할 수 있으며, 각각의 토픽은 논리적.. 2024. 10. 26.
Zookeeper, Storm, Kafka, Elasticsearch 클러스터 고가용성 구성 Zookeeper, Storm, Kafka, Elasticsearch 클러스터를 고가용성으로 구성하는 것은 데이터의 안정적인 수집, 처리, 저장을 보장하는 데 중요합니다. 각 구성 요소는 다음과 같은 역할을 합니다.Zookeeper: 분산 애플리케이션을 위한 중앙 집중형 서비스로, Kafka 및 Storm의 클러스터 관리에 사용됩니다.Kafka: 고성능 메시징 시스템으로, 데이터를 수집하여 Storm으로 전달합니다.Storm: 실시간 데이터 처리 시스템으로, 데이터를 처리한 후 Elasticsearch에 저장합니다.Elasticsearch: 분산 검색 및 분석 엔진으로, 최종 데이터를 저장하고 검색합니다.1. Zookeeper 클러스터 구성서버 준비: 최소 3대의 서버를 준비합니다.Zookeeper 설치.. 2024. 10. 23.
Apache Kafka 클러스터 관리와 모니터링 단순화 도구 Conduktor Conduktor Console은 Apache Kafka의 관리를 용이하게 해주는 도구입니다. Kafka 클러스터의 관리를 단순화하고 효율성을 극대화하기 위해 설계된 이 콘솔은 다양한 기능과 직관적인 인터페이스를 제공합니다. Conduktor Console을 사용하면 Kafka 클러스터의 다양한 요소를 시각화하고 모니터링할 수 있으며, 복잡한 Kafka 작업을 쉽게 수행할 수 있습니다.클러스터 관리: Conduktor Console은 여러 Kafka 클러스터를 중앙에서 관리할 수 있게 도와줍니다.주제 및 파티션 관리: 주제를 생성, 삭제, 수정하고 파티션의 상태를 모니터링할 수 있습니다.메시지 탐색 및 모니터링: 주제에서 메시지를 쉽게 검색하고, 메시지의 내용을 확인할 수 있습니다.ACL 관리: 접근 제.. 2024. 8. 7.
728x90
728x90