본문 바로가기

grafana18

728x90
Wazuh Indexer(OpenSearch) 모니터링 표준 메트릭, 대시보드, 경보 관제 아래 구성은 3개 노드 Wazuh Indexer(OpenSearch) 클러스터를 대상으로,Prometheus Exporter로 노드 성능 지표 수집 → Prometheus/Grafana 시각화,ElastAlert2로 OpenSearch 쿼리 기반 탐지 → Slack 알림,오류 해결(매핑/호환모드/TLS),Dev Tools(콘솔)에서 바로 실행할 스니펫까지 한 번에 정리한 운영 표준 레시피입니다.인프라 구성 개요(아키텍처)OpenSearch(Wazuh Indexer) ×3각 노드에 opensearch-prometheus-exporter 플러그인 설치/_prometheus/metrics에서 노드 지표 노출Prometheus각 노드 /_prometheus/metrics를 스크레이프(선택) Alertmanage.. 2025. 11. 15.
Superset으로 BI, Grafana로 Observability: 데이터 분석과 모니터링 통합 운영 환경 기준(보안·가용성·운영 편의성) Docker Compose로 빠르게 시작하고, Kubernetes/Helm으로 확장하는 패턴을 권장합니다. Grafana와의 연계는 “데이터 소스 공유, SSO 통합, 리버스 프록시로의 경로 통합, 임베드/링킹” 순으로 점진 적용을 추천드립니다.Superset vs Grafana, 언제/어떻게 같이 쓰나?Superset: SQL 기반 탐색형 BI/대시보드에 강함. 데이터셋(가상 테이블), 차트 조립, 대시보드 퍼블리시, 리치한 슬라이싱/필터.Grafana: 시계열/인프라/로그 관측성에 강함. 수많은 데이터소스 플러그인, 알러팅과 실시간 지표에 강함.함께 쓰기 활용사례동일 데이터(예: DW/레이크/OLAP)를 각 도구에 맞게 시각화Grafana로 운영 모니터링/알.. 2025. 8. 18.
실시간 데이터 백엔드 분석법 모듈형 플랫폼 Moose, ClickHouse, Redpanda 구축 기존 데이터 분석 백엔드 구축의 문제점복잡한 인프라: Kafka + ClickHouse + dbt + Airflow + API 서버 각각 관리스키마 불일치: 데이터베이스, API, 메시지 포맷 간 동기화 어려움개발 속도 저하: 로컬 테스트 환경 구축 복잡, 긴 피드백 사이클SQL 중심 개발: 복잡한 비즈니스 로직을 SQL로만 처리하는 한계Moose의 해결책: TypeScript/Python 코드 기반으로 전체 데이터 파이프라인을 통합 관리Moose 아키텍처┌─────────────────┐ ┌──────────────┐ ┌──────────────┐│ Data Sources │────▶│ Moose │────▶│ ClickHouse ││ (API, Kafka) │.. 2025. 7. 25.
Prometheus와 Grafana로 이상 탐지 자동화: 알림과 시각화 통합 Prometheus를 활용하여 대규모 환경에서 효율적으로 이상 탐지를 수행하기 위한 방법론과 예제입니다. 이를 통해 실시간으로 메트릭을 수집하고 이상 감지를 자동화하여 신속한 대응 체계를 구축할 수 있습니다.1. Prometheus 이상 탐지의 필요성핵심 목표실시간으로 문제를 탐지하여 서비스 가용성을 유지.대규모 메트릭 데이터를 효율적으로 처리하고 분석.자동화된 알림 시스템으로 운영자의 대응 시간 단축.대규모 환경의 도전 과제데이터 볼륨 증가로 인한 성능 저하.복잡한 패턴과 주기적 이상을 동시에 처리.2. Prometheus 이상 탐지 시스템 구성아래와 같은 기본 구조를 기반으로 이상 탐지 시스템을 구성합니다.메트릭 수집: Exporter, Pushgateway, ServiceMonitor 등으로 데이터.. 2025. 1. 29.
Elasticsearch에서 Agent 수집된 로그의 유형별 집계 및 관리 방법 Elastic Agent로 수집된 로그 데이터를 Elasticsearch에서 유형별로 집계하고, 최근 30일 간의 일별 카운트를 집계하는 과정을 단계별로 설명합니다. 아래에 제시된 명령어와 옵션은 Kibana의 Dev Tools에서 사용할 수 있습니다.1단계: 데이터 구조 확인Elasticsearch에 저장된 로그 데이터의 필드 구조를 확인해야 합니다.Elastic Agent가 수집한 로그에는 일반적으로 log.type 또는 event.dataset과 같은 필드가 사용됩니다.@timestamp 필드는 로그의 시간 정보를 나타냅니다.샘플 쿼리GET /your-index-pattern-*/_mapping위 명령어를 실행하면 인덱스의 매핑 정보가 반환됩니다. 여기에서 사용할 필드 이름(log.type 또는 e.. 2025. 1. 28.
728x90
728x90

티스토리툴바