본문 바로가기

서버구축 (WEB,DB)362

Kafka 로그 모니터링 및 Manager(CMAK) 활용한 클러스터 관리 Kafka 등록 정보 확인 및 로그 모니터링을 웹 기반으로 수행하는 방법에는 여러 가지 도구와 접근 방법이 있습니다. 이를 위해 아래에서 몇 가지 일반적인 접근 방법을 설명하겠습니다.Kafka 기본 명령어 및 등록 정보 확인Kafka 명령어를 사용하여 클러스터 및 토픽에 대한 기본 정보를 확인할 수 있습니다.# Kafka 클러스터 목록 확인kafka-topics.sh --zookeeper --list# 특정 토픽에 대한 정보 확인kafka-topics.sh --zookeeper --describe --topic Kafka Manager 사용Kafka Manager는 웹 기반의 Kafka 클러스터 관리 도구입니다. 이를 사용하여 토픽의 상태, 파티션 및 브로커에 대한 정보를 쉽게 확인할 수 있습니다. .. 2023. 12. 21.
API Gateway(게이트웨이) Kong 아키텍처 설계 및 라우팅 환경 구성 API 게이트웨이를 활용하여 인증 및 권한 부여를 관리하는 것은 매우 일반적이며 효과적인 방법입니다. 여러 오픈소스 API 게이트웨이 도구 중에서는 Kong, Apigee, Tyk, 그리고 Nginx 기반의 API Gateway가 널리 사용되고 있습니다.여기서는 Kong을 기반으로 한 API 게이트웨이를 사용하는 방법에 대해 설명하겠습니다.Kong을 사용한 API 게이트웨이 구축Kong 설치 및 실행Kong 공식 웹사이트에서 Kong을 다운로드하고 설치합니다.Kong은 기본적으로 데이터베이스로 PostgreSQL을 사용하므로 PostgreSQL도 설치해야 합니다.Kong 설정Kong을 실행하기 전에 kong.conf 파일을 설정하여 기본 구성을 지정합니다.예를 들어, 인증 플러그인 및 데이터베이스 연결을.. 2023. 12. 16.
PostgreSQL 성능 향상 Performance Tuning & Optimization PostgreSQL의 성능을 향상시키기 위해 다양한 튜닝 옵션을 사용할 수 있습니다. 다음은 PostgreSQL을 Docker Compose로 기본으로 올린 후 성능을 향상시키기 위한 몇 가지 일반적인 조치입니다. 컨테이너 자원 할당 조정 docker-compose.yml 파일에서 PostgreSQL 컨테이너에 할당된 자원을 적절하게 조정합니다. mem_limit 및 cpus와 같은 옵션을 사용하여 메모리 및 CPU 제한을 설정할 수 있습니다. services: postgres: image: postgres:latest mem_limit: 2g cpus: 2 ... PostgreSQL 설정 튜닝 PostgreSQL 설정을 변경하여 성능을 향상시킬 수 있습니다. PostgreSQL 컨테이너 내에서 post.. 2023. 12. 15.
대량 데이타 실시간 처리 분산 메시징 시스템 Kafka 구조 및 구성 Apache Kafka는 대용량의 데이터를 안정적으로 수집, 저장 및 처리하기 위한 분산 스트리밍 플랫폼입니다. 주로 대규모 데이터의 실시간 스트리밍 및 이벤트 처리에 사용되며, 여러 소비자에게 데이터를 안전하게 전달할 수 있는 메시징 시스템의 역할을 합니다. 주요 특징 분산 아키텍처: Kafka는 여러 브로커로 구성된 분산 아키텍처를 가지며, 데이터를 여러 노드에 분산하여 안정성과 확장성을 제공합니다. 토픽 기반 메시지 큐: 데이터는 토픽(topic)이라는 카테고리로 구분되며, 생산자(producer)가 메시지를 생성하고, 소비자(consumer)가 해당 토픽에서 메시지를 구독하여 처리합니다. 내결함성: 브로커 중 하나가 실패해도 데이터의 유실 없이 안전하게 처리할 수 있도록 내결함성을 제공합니다. 확.. 2023. 12. 8.
분산 애플리케이션 코디네이션 용도로 Zookeeper 시스템 구성 Zookeeper는 분산 환경에서 시스템 간의 조정 및 동기화를 담당하는 오픈 소스 분산 서비스입니다. 주로 대규모 분산 시스템에서의 데이터 관리, 복제, 선택, 리더 선출 등의 작업을 처리합니다. 이는 클러스터 내 각 노드 간의 정보를 안전하게 유지하고 서비스의 일관성을 보장하는 데 중요합니다. Zookeeper의 주요 특징 Coordination Service: Zookeeper는 여러 서버 간의 조정 및 동기화 서비스를 제공하여 데이터 일관성을 유지합니다. Atomic Broadcast: Zookeeper는 데이터를 일관되게 배포하는 데 사용되는 원자적 브로드캐스트 메커니즘을 제공합니다. Consensus: Zookeeper는 분산 시스템에서의 일관성을 위해 투표 기반의 합의 알고리즘을 사용합니다... 2023. 12. 7.
728x90

티스토리툴바