본문 바로가기

grafana17

728x90
Superset으로 BI, Grafana로 Observability: 데이터 분석과 모니터링 통합 운영 환경 기준(보안·가용성·운영 편의성) Docker Compose로 빠르게 시작하고, Kubernetes/Helm으로 확장하는 패턴을 권장합니다. Grafana와의 연계는 “데이터 소스 공유, SSO 통합, 리버스 프록시로의 경로 통합, 임베드/링킹” 순으로 점진 적용을 추천드립니다.Superset vs Grafana, 언제/어떻게 같이 쓰나?Superset: SQL 기반 탐색형 BI/대시보드에 강함. 데이터셋(가상 테이블), 차트 조립, 대시보드 퍼블리시, 리치한 슬라이싱/필터.Grafana: 시계열/인프라/로그 관측성에 강함. 수많은 데이터소스 플러그인, 알러팅과 실시간 지표에 강함.함께 쓰기 활용사례동일 데이터(예: DW/레이크/OLAP)를 각 도구에 맞게 시각화Grafana로 운영 모니터링/알.. 2025. 8. 18.
실시간 데이터 백엔드 분석법 모듈형 플랫폼 Moose, ClickHouse, Redpanda 구축 기존 데이터 분석 백엔드 구축의 문제점복잡한 인프라: Kafka + ClickHouse + dbt + Airflow + API 서버 각각 관리스키마 불일치: 데이터베이스, API, 메시지 포맷 간 동기화 어려움개발 속도 저하: 로컬 테스트 환경 구축 복잡, 긴 피드백 사이클SQL 중심 개발: 복잡한 비즈니스 로직을 SQL로만 처리하는 한계Moose의 해결책: TypeScript/Python 코드 기반으로 전체 데이터 파이프라인을 통합 관리Moose 아키텍처┌─────────────────┐ ┌──────────────┐ ┌──────────────┐│ Data Sources │────▶│ Moose │────▶│ ClickHouse ││ (API, Kafka) │.. 2025. 7. 25.
Prometheus와 Grafana로 이상 탐지 자동화: 알림과 시각화 통합 Prometheus를 활용하여 대규모 환경에서 효율적으로 이상 탐지를 수행하기 위한 방법론과 예제입니다. 이를 통해 실시간으로 메트릭을 수집하고 이상 감지를 자동화하여 신속한 대응 체계를 구축할 수 있습니다.1. Prometheus 이상 탐지의 필요성핵심 목표실시간으로 문제를 탐지하여 서비스 가용성을 유지.대규모 메트릭 데이터를 효율적으로 처리하고 분석.자동화된 알림 시스템으로 운영자의 대응 시간 단축.대규모 환경의 도전 과제데이터 볼륨 증가로 인한 성능 저하.복잡한 패턴과 주기적 이상을 동시에 처리.2. Prometheus 이상 탐지 시스템 구성아래와 같은 기본 구조를 기반으로 이상 탐지 시스템을 구성합니다.메트릭 수집: Exporter, Pushgateway, ServiceMonitor 등으로 데이터.. 2025. 1. 29.
Elasticsearch에서 Agent 수집된 로그의 유형별 집계 및 관리 방법 Elastic Agent로 수집된 로그 데이터를 Elasticsearch에서 유형별로 집계하고, 최근 30일 간의 일별 카운트를 집계하는 과정을 단계별로 설명합니다. 아래에 제시된 명령어와 옵션은 Kibana의 Dev Tools에서 사용할 수 있습니다.1단계: 데이터 구조 확인Elasticsearch에 저장된 로그 데이터의 필드 구조를 확인해야 합니다.Elastic Agent가 수집한 로그에는 일반적으로 log.type 또는 event.dataset과 같은 필드가 사용됩니다.@timestamp 필드는 로그의 시간 정보를 나타냅니다.샘플 쿼리GET /your-index-pattern-*/_mapping위 명령어를 실행하면 인덱스의 매핑 정보가 반환됩니다. 여기에서 사용할 필드 이름(log.type 또는 e.. 2025. 1. 28.
서비스 최적화 위한 리소스 모니터링 꿀팁: 실시간 대시보드 만들기 systemctl 자체는 서비스의 상태를 확인하는 데 사용되지만, 구체적인 CPU 및 메모리 사용량을 확인하기 위한 기능은 포함되어 있지 않습니다. 이를 확인하려면 systemctl로 실행 중인 서비스의 PID(Process ID)를 확인한 후, 해당 프로세스의 상태를 top, ps, 또는 systemd-cgtop 등을 이용해 확인할 수 있습니다.1. systemctl로 PID 확인systemctl을 통해 구동 중인 서비스의 PID를 확인해야 합니다.systemctl show --property=MainPID예를 들어, nginx 서비스의 PID를 확인하려면 다음과 같이 입력합니다.systemctl show nginx --property=MainPID2. top 명령어를 사용하여 CPU/메모리 사용량 .. 2025. 1. 7.
728x90
728x90

티스토리툴바