서버구축 (WEB,DB)362 Apache Kafka 클러스터 관리와 모니터링 단순화 도구 Conduktor Conduktor Console은 Apache Kafka의 관리를 용이하게 해주는 도구입니다. Kafka 클러스터의 관리를 단순화하고 효율성을 극대화하기 위해 설계된 이 콘솔은 다양한 기능과 직관적인 인터페이스를 제공합니다. Conduktor Console을 사용하면 Kafka 클러스터의 다양한 요소를 시각화하고 모니터링할 수 있으며, 복잡한 Kafka 작업을 쉽게 수행할 수 있습니다.클러스터 관리: Conduktor Console은 여러 Kafka 클러스터를 중앙에서 관리할 수 있게 도와줍니다.주제 및 파티션 관리: 주제를 생성, 삭제, 수정하고 파티션의 상태를 모니터링할 수 있습니다.메시지 탐색 및 모니터링: 주제에서 메시지를 쉽게 검색하고, 메시지의 내용을 확인할 수 있습니다.ACL 관리: 접근 제.. 2024. 8. 7. Elasticsearch 영구적인 RDBMS 구성으로 전통적인 CRUD 작업 수행 Elasticsearch에서 로그 데이터를 저장하고 일정 기간이 지나면 자동으로 삭제되는 방식과는 다르게, 영구적으로 데이터를 저장하고 RDBMS처럼 검색하고 활용하는 방법에 대해 설명드리겠습니다.인덱스 설정 및 매핑 구성영구적으로 데이터를 저장하려면 인덱스의 매핑과 설정을 적절히 구성해야 합니다. 특히, 로그 방식과는 다르게, 검색 및 분석에 최적화된 매핑을 설정하는 것이 중요합니다.PUT /my_persistent_index{ "settings": { "number_of_shards": 1, "number_of_replicas": 1 }, "mappings": { "properties": { "timestamp": { "type": "date" },.. 2024. 8. 2. Grafana 서비스를 서브 URL 방식으로 복수 인스턴스 운영 서브 URL로 Grafana를 서비스하기 위해 Grafana의 root_url을 설정하고, Nginx를 리버스 프록시로 구성하는 방법을 설명하겠습니다. 이는 Kubernetes의 Ingress나 다른 프록시 설정에서 유용할 수 있습니다.Docker Compose 파일 구성먼저 docker-compose.yml 파일을 작성하여 Grafana와 Nginx 컨테이너를 설정합니다.version: '3.8'services: grafana: image: grafana/grafana:latest container_name: grafana ports: - "3000:3000" volumes: - grafana-data:/var/lib/grafana - ./grafana.. 2024. 8. 1. Nginx 캐시 서버 구축 및 운영 시 필요한 다양한 설정 방법 루트 경로 /에 대해서만 캐시를 완전히 비활성화하고, 다른 경로에 대해서는 기본 캐시 설정을 유지하려면, Nginx의 location 블록을 정확히 지정하여 설정할 수 있습니다. 다음은 이러한 설정을 구현하는 방법의 설정 예시입니다.http { server { listen 80; server_name example.com; # 정확히 루트 경로에 대한 설정 location = / { root /usr/share/nginx/html; index index.html index.htm; expires -1; add_header Cache-Control "no-store, no-.. 2024. 7. 31. 데이터 엔지니어링 엔드투엔드(End-to-End) 프로젝트 기술 스택 개요1. Apache Airflow개요: Apache Airflow는 워크플로우 자동화 및 스케줄링 도구로, 복잡한 데이터 파이프라인을 정의, 스케줄링 및 모니터링할 수 있습니다.활용 예시데이터 파이프라인을 정의하는 DAG(DAG: Directed Acyclic Graph) 생성DAG를 사용한 데이터 처리 작업 스케줄링Airflow UI를 통해 작업 상태 모니터링2. Apache Zookeeper개요: Apache Zookeeper는 분산 시스템을 위한 중앙 집중형 서비스로, 구성 정보를 관리하고, 분산 시스템의 동기화 및 그룹 서비스를 제공합니다.활용 예시Kafka 클러스터 설정 및 관리분산 시스템의 노드 상태 모니터링 및 구성 정보 저장3. Apache Kafka개요: Apache Kafk.. 2024. 7. 29. 이전 1 ··· 4 5 6 7 8 9 10 ··· 73 다음 728x90
