본문 바로가기

Availability4

Zookeeper, Storm, Kafka, Elasticsearch 클러스터 고가용성 구성 Zookeeper, Storm, Kafka, Elasticsearch 클러스터를 고가용성으로 구성하는 것은 데이터의 안정적인 수집, 처리, 저장을 보장하는 데 중요합니다. 각 구성 요소는 다음과 같은 역할을 합니다.Zookeeper: 분산 애플리케이션을 위한 중앙 집중형 서비스로, Kafka 및 Storm의 클러스터 관리에 사용됩니다.Kafka: 고성능 메시징 시스템으로, 데이터를 수집하여 Storm으로 전달합니다.Storm: 실시간 데이터 처리 시스템으로, 데이터를 처리한 후 Elasticsearch에 저장합니다.Elasticsearch: 분산 검색 및 분석 엔진으로, 최종 데이터를 저장하고 검색합니다.1. Zookeeper 클러스터 구성서버 준비: 최소 3대의 서버를 준비합니다.Zookeeper 설치.. 2024. 10. 23.
PostgreSQL 성능 향상 Performance Tuning & Optimization PostgreSQL의 성능을 향상시키기 위해 다양한 튜닝 옵션을 사용할 수 있습니다. 다음은 PostgreSQL을 Docker Compose로 기본으로 올린 후 성능을 향상시키기 위한 몇 가지 일반적인 조치입니다. 컨테이너 자원 할당 조정 docker-compose.yml 파일에서 PostgreSQL 컨테이너에 할당된 자원을 적절하게 조정합니다. mem_limit 및 cpus와 같은 옵션을 사용하여 메모리 및 CPU 제한을 설정할 수 있습니다. services: postgres: image: postgres:latest mem_limit: 2g cpus: 2 ... PostgreSQL 설정 튜닝 PostgreSQL 설정을 변경하여 성능을 향상시킬 수 있습니다. PostgreSQL 컨테이너 내에서 post.. 2023. 12. 15.
대량 데이타 실시간 처리 분산 메시징 시스템 Kafka 구조 및 구성 Apache Kafka는 대용량의 데이터를 안정적으로 수집, 저장 및 처리하기 위한 분산 스트리밍 플랫폼입니다. 주로 대규모 데이터의 실시간 스트리밍 및 이벤트 처리에 사용되며, 여러 소비자에게 데이터를 안전하게 전달할 수 있는 메시징 시스템의 역할을 합니다. 주요 특징 분산 아키텍처: Kafka는 여러 브로커로 구성된 분산 아키텍처를 가지며, 데이터를 여러 노드에 분산하여 안정성과 확장성을 제공합니다. 토픽 기반 메시지 큐: 데이터는 토픽(topic)이라는 카테고리로 구분되며, 생산자(producer)가 메시지를 생성하고, 소비자(consumer)가 해당 토픽에서 메시지를 구독하여 처리합니다. 내결함성: 브로커 중 하나가 실패해도 데이터의 유실 없이 안전하게 처리할 수 있도록 내결함성을 제공합니다. 확.. 2023. 12. 8.
서버 가상화 솔루션 Xen Server 5.5 사용기 Vmware 와 가상화 솔루션에서 양대산맥이라 볼수있는 Xen Server가 지난번 연구실 세미나때 5.0 으로 테스트 하였는데 얼마전 5.5 로 업그레이드가 되었는지 겸사겸사 사용기 이벤트가 있어 참여하게 되었다. 연구실에서 5.0 버젼 으로 세미나 하였던 데이터는 아래 pdf 에 자세하게 작성하여 첨부하여두었다. xen.pdf 이번 버젼으로 테스트하면서 크게 기능면으로 추가된 내용으로는 잘 모르겠으나 기존 버젼에서 테스트가 불가했던 내용외에 마이그레이션 기능이 정상적으로 동작하여 다소 신기하였다. 설치한 H/W는 연구실에 테스트머신으로 돌고있는 HP G320 M4 이며 클러스터 테스트용으로만 사용하고있어 그리 H/W 사양이 높지는 않다.. (CPU : P4 D 2.8G / RAM : 1G ECC / .. 2009. 8. 24.
728x90

티스토리툴바