본문 바로가기

cluster33

728x90
Kubernetes 클러스터 Kafka 및 Kafka UI 설치 및 활용 방법 Kafka는 분산 스트리밍 플랫폼으로, 대규모 데이터 스트림을 실시간으로 처리하고 저장하는 데 사용됩니다. 간단하게 말하면, Kafka는 많은 데이터를 빠르게 주고받을 수 있는 메시징 시스템이라고 할 수 있습니다. 기본적으로 Kafka는 데이터의 생산자(producer)와 소비자(consumer) 간에 데이터를 중개하는 역할을 합니다. Kafka의 주요 개념을 쉽게 설명하면 다음과 같습니다.1. 메시지(Message)Kafka에서 주고받는 데이터의 단위를 메시지라고 합니다. 메시지는 주로 텍스트, 숫자, JSON과 같은 간단한 데이터 형식으로 표현됩니다.2. 토픽(Topic)메시지가 저장되는 장소를 토픽이라고 부릅니다. Kafka는 데이터를 여러 토픽으로 구분하여 저장할 수 있으며, 각각의 토픽은 논리적.. 2024. 10. 26.
Zookeeper, Storm, Kafka, Elasticsearch 클러스터 고가용성 구성 Zookeeper, Storm, Kafka, Elasticsearch 클러스터를 고가용성으로 구성하는 것은 데이터의 안정적인 수집, 처리, 저장을 보장하는 데 중요합니다. 각 구성 요소는 다음과 같은 역할을 합니다.Zookeeper: 분산 애플리케이션을 위한 중앙 집중형 서비스로, Kafka 및 Storm의 클러스터 관리에 사용됩니다.Kafka: 고성능 메시징 시스템으로, 데이터를 수집하여 Storm으로 전달합니다.Storm: 실시간 데이터 처리 시스템으로, 데이터를 처리한 후 Elasticsearch에 저장합니다.Elasticsearch: 분산 검색 및 분석 엔진으로, 최종 데이터를 저장하고 검색합니다.1. Zookeeper 클러스터 구성서버 준비: 최소 3대의 서버를 준비합니다.Zookeeper 설치.. 2024. 10. 23.
Elasticsearch 설정 우선순위와 효율적인 적용 방법 (클러스터 관리 핵심) Elasticsearch의 설정을 업데이트하는 방법에는 세 가지 주요 접근 방식이 있습니다. transient update, persistent update, 그리고 elasticsearch.yml 파일을 통한 업데이트입니다. 각 접근 방식은 적용 범위와 지속성에서 차이가 있으며, 우선순위도 다릅니다. 각 방법에 대한 상세한 설명과 구체적인 사례에 대해서 자세히 알아보겠습니다.설정 업데이트 방법 및 우선순위Transient Settings (임시 설정)특징: 클러스터가 재시작되면 사라지는 일시적인 설정입니다.용도: 단기적인 테스트나 일시적인 설정 변경에 유용합니다.우선순위: 가장 높은 우선순위를 가집니다.Persistent Settings (지속적 설정)특징: 클러스터가 재시작되어도 유지되는 영구적인 설.. 2024. 10. 4.
Kubernetes 클러스터 Audit 감사 로그 수집 및 모니터링 kubectl 명령어를 통해 수행한 액션 로그를 기록하고 모니터링하는 방법은 크게 두 가지로 나눌 수 있습니다. 첫 번째는 kubectl의 클라이언트 측에서 로그를 기록하는 방법이고, 두 번째는 쿠버네티스 서버 측에서 API 서버의 액세스 로그를 모니터링하는 방법입니다.1. 클라이언트 측에서 kubectl 명령어 로그 기록kubectl 클라이언트에서 수행한 명령어를 로컬 파일에 기록하는 방법입니다.방법 1: kubectl alias 설정을 통한 로깅kubectl 명령어를 로깅하는 가장 간단한 방법은 alias를 설정하는 것입니다. 아래 예시는 kubectl 명령어를 수행할 때마다 해당 명령어를 로그 파일에 기록하는 방법입니다.alias kubectl='kubectl --context=my-cluster .. 2024. 10. 1.
Kubernetes 볼륨(Persistent Volume & Claim) 영구 스토리지 개념 이해 Kubernetes에서 Persistent Volume (PV)와 Persistent Volume Claim (PVC)은 일반적으로 1:1 매핑됩니다. 하나의 PV는 하나의 PVC에 바인딩되며, 반대로 하나의 PVC는 하나의 PV에 바인딩됩니다. 따라서, 하나의 PV에 여러 PVC를 바인딩하는 것은 불가능합니다. 이 방식은 데이터를 저장하는 볼륨이 특정 애플리케이션에 독립적으로 할당되어 데이터 무결성을 유지하도록 보장합니다.Persistent Volume (PV): 클러스터 관리자가 제공하는 스토리지 자원입니다. PV는 클러스터에 있는 실제 스토리지(예: NFS, iSCSI, 클라우드 스토리지 등)를 추상화한 것입니다.Persistent Volume Claim (PVC): 개발자가 애플리케이션에서 스토리.. 2024. 9. 26.
728x90
728x90

티스토리툴바