Kibana21 Elasticsearch에서 Agent 수집된 로그의 유형별 집계 및 관리 방법 Elastic Agent로 수집된 로그 데이터를 Elasticsearch에서 유형별로 집계하고, 최근 30일 간의 일별 카운트를 집계하는 과정을 단계별로 설명합니다. 아래에 제시된 명령어와 옵션은 Kibana의 Dev Tools에서 사용할 수 있습니다.1단계: 데이터 구조 확인Elasticsearch에 저장된 로그 데이터의 필드 구조를 확인해야 합니다.Elastic Agent가 수집한 로그에는 일반적으로 log.type 또는 event.dataset과 같은 필드가 사용됩니다.@timestamp 필드는 로그의 시간 정보를 나타냅니다.샘플 쿼리GET /your-index-pattern-*/_mapping위 명령어를 실행하면 인덱스의 매핑 정보가 반환됩니다. 여기에서 사용할 필드 이름(log.type 또는 e.. 2025. 1. 28. Kibana Saved Object 기본 개념 및 자동화(n8n) 백업 가이드 1. Kibana Saved Object 기본 개념 및 사용법Saved Object란?Kibana의 Saved Object는 대시보드, 시각화, 검색, 인덱스 패턴 등 사용자가 생성한 설정 정보를 저장하는 데이터입니다. Saved Object는 Kibana UI를 통해 관리하거나, API를 통해 내보내기(export) 및 가져오기(import)할 수 있습니다. 이를 통해 중요한 설정 정보를 효율적으로 관리할 수 있습니다.Saved Object 주요 유형Dashboard: 대시보드 레이아웃 정보를 저장.Visualization: 데이터 시각화 설정.Search: 특정 필터와 정렬 조건을 저장한 검색.Index Pattern: Elasticsearch의 인덱스를 참조하는 패턴.API 사용법Saved Obje.. 2025. 1. 23. 서비스 최적화 위한 리소스 모니터링 꿀팁: 실시간 대시보드 만들기 systemctl 자체는 서비스의 상태를 확인하는 데 사용되지만, 구체적인 CPU 및 메모리 사용량을 확인하기 위한 기능은 포함되어 있지 않습니다. 이를 확인하려면 systemctl로 실행 중인 서비스의 PID(Process ID)를 확인한 후, 해당 프로세스의 상태를 top, ps, 또는 systemd-cgtop 등을 이용해 확인할 수 있습니다.1. systemctl로 PID 확인systemctl을 통해 구동 중인 서비스의 PID를 확인해야 합니다.systemctl show --property=MainPID예를 들어, nginx 서비스의 PID를 확인하려면 다음과 같이 입력합니다.systemctl show nginx --property=MainPID2. top 명령어를 사용하여 CPU/메모리 사용량 .. 2025. 1. 7. NGINX Plus 활용한 고성능 API Gateway 및 웹 보안 환경 구축 현대의 애플리케이션 아키텍처에서 API Gateway는 중요한 역할을 담당합니다. API 요청을 효율적으로 관리하고 보안을 강화하며 성능을 최적화하기 위해서는 강력한 솔루션이 필요합니다. NGINX Plus를 API Gateway로 활용하는 방법과 함께 ModSecurity 및 Wallarm을 통합하여 웹 보안 기반 환경을 구현하는 방법입니다.NGINX Plus를 API Gateway로 사용하는 이유1. 로드 밸런싱 및 트래픽 관리고급 로드 밸런싱: NGINX Plus는 L7(Application Layer) 및 L4(Transport Layer) 로드 밸런싱을 지원하여 트래픽을 여러 백엔드 서버로 효율적으로 분산시킵니다.트래픽 세분화: 특정 API 요청을 특정 서비스로 라우팅하여 마이크로서비스 아키텍처.. 2024. 11. 29. Elasticsearch 대량 데이터 효과적 운영을 위한 핫 & 콜드 데이터 관리 Elasticsearch 방대한 양의 데이터를 효과적으로 운영하기 위한 핫 데이터와 콜드 데이터 관리 방식운영 환경에서 대량의 로그 데이터를 수집하고 관리할 때, 성능 최적화와 비용 효율성을 위해 데이터를 핫 데이터(자주 조회되는 최신 데이터)와 콜드 데이터(빈도 낮은 오래된 데이터)로 분류하여 관리하는 전략을 사용할 수 있습니다.핫 데이터와 콜드 데이터 분류 전략핫 데이터(Hot Data)정의: 최근 수집된 데이터로, 조회 빈도가 높고 빠른 검색 성능이 필요한 데이터입니다.저장 위치: Elasticsearch의 빠른 검색 인덱스에 저장합니다.관리: 주로 Elasticsearch의 기본 노드에 저장되며, 고성능 디스크를 사용합니다.콜드 데이터(Cold Data)정의: 일정 기간이 지난 후 접근 빈도가 낮.. 2024. 11. 5. 이전 1 2 3 4 5 다음 728x90
