logging10 Python 기반 로그 모니터링 및 Google Sheets 수집 연동 자동화 여러 로그 파일을 지정하고, 해당 파일에 로그가 적재될 때 자동으로 수집되도록 한 예시코드입니다. 이 코드를 실행하는 데 필요한 Dockerfile도 함께 제공합니다.Python 코드 (monitor_logs.py)import osimport reimport timefrom watchdog.observers import Observerfrom watchdog.events import FileSystemEventHandlerfrom googleapiclient.discovery import buildfrom google.oauth2.service_account import Credentials# Google Sheets API 설정SCOPES = ['https://www.googleapis.com/auth.. 2024. 12. 22. JSensor를 활용한 윈도우 시스템에서 중앙 모니터링 가이드 JSensor의 기능과 설정에 따라 윈도우 시스템에서 모니터링할 수 있는 항목이 달라질 수 있습니다. 아래에서는 JSensor를 활용하여 윈도우 시스템을 모니터링하는 방법입니다.1. JSensor의 기본 기능 이해JSensor 초기화 및 설정: JSensor는 config.properties 파일을 통해 설정을 로드합니다. 이 파일에는 모니터링 대상, 서버 연결 정보, 로그 저장 경로 등이 포함될 수 있습니다.웹소켓 서버와의 통신: JSensor는 웹소켓(WebSocket)을 통해 데이터를 전송하거나 수신할 수 있습니다. 이는 실시간 모니터링 데이터를 서버로 전송하거나 외부 명령을 수신하는 데 사용될 수 있습니다.로그 파일 관리: JSensor는 모니터링 결과를 로그 파일로 저장할 수 있습니다. 이 로그.. 2024. 11. 26. Filebeat 활용 MQTT 이벤트 수집 및 Elasticsearch 기록 분석 가이드 IoT와 같은 환경에서는 MQTT 브로커로부터 데이터를 수집하고 이를 Elasticsearch에 기록하여 분석하는 것이 중요합니다. 이 글에서는 Filebeat를 통해 MQTT 브로커에서 데이터를 읽어와 Elasticsearch에 전송하는 전체 과정을 다룹니다. 각 단계별로 자세한 설정 방법과 사용자 정의 모듈 추가, Docker 환경에서의 사용 예시까지 포함하여 설명합니다.목차배경 및 필요성환경 구성 요소Filebeat 설치Filebeat 설정 파일 수정 및 MQTT 입력 설정커스텀 MQTT 모듈 추가 및 Docker 설정Filebeat 실행 및 데이터 확인주의 사항 및 최적화 팁1. 배경 및 필요성MQTT(Message Queuing Telemetry Transport)는 저전력 장치에 최적화된 경량.. 2024. 11. 3. Kubernetes 클러스터 Audit 감사 로그 수집 및 모니터링 kubectl 명령어를 통해 수행한 액션 로그를 기록하고 모니터링하는 방법은 크게 두 가지로 나눌 수 있습니다. 첫 번째는 kubectl의 클라이언트 측에서 로그를 기록하는 방법이고, 두 번째는 쿠버네티스 서버 측에서 API 서버의 액세스 로그를 모니터링하는 방법입니다.1. 클라이언트 측에서 kubectl 명령어 로그 기록kubectl 클라이언트에서 수행한 명령어를 로컬 파일에 기록하는 방법입니다.방법 1: kubectl alias 설정을 통한 로깅kubectl 명령어를 로깅하는 가장 간단한 방법은 alias를 설정하는 것입니다. 아래 예시는 kubectl 명령어를 수행할 때마다 해당 명령어를 로그 파일에 기록하는 방법입니다.alias kubectl='kubectl --context=my-cluster .. 2024. 10. 1. Grafana Loki 통한 로그 수집 통합 모니터링 및 알람 시스템 구성 Loki는 로그 수집, 저장, 조회를 위한 오픈 소스 로그 집계 시스템입니다. Grafana Labs에서 개발하였으며, 특히 대규모 로그 데이터를 효율적으로 관리하고 분석하기 위해 설계되었습니다. Loki는 Prometheus와 유사한 방식으로 작동하지만, 메트릭 대신 로그를 처리합니다. 주요 특징은 다음과 같습니다.효율성: Loki는 인덱스를 최소화하고, 로그 데이터를 압축하여 저장합니다. 이를 통해 디스크 사용량과 검색 속도를 최적화합니다.고가용성 및 확장성: 클러스터링을 지원하여, 대규모 환경에서도 높은 가용성과 확장성을 제공합니다.간편한 통합: Prometheus 및 Grafana와 쉽게 통합할 수 있으며, 로그와 메트릭을 하나의 대시보드에서 함께 분석할 수 있습니다.다양한 입력 소스 지원: Fl.. 2024. 9. 28. 이전 1 2 다음 728x90
