logging8 Filebeat 활용 MQTT 이벤트 수집 및 Elasticsearch 기록 분석 가이드 IoT와 같은 환경에서는 MQTT 브로커로부터 데이터를 수집하고 이를 Elasticsearch에 기록하여 분석하는 것이 중요합니다. 이 글에서는 Filebeat를 통해 MQTT 브로커에서 데이터를 읽어와 Elasticsearch에 전송하는 전체 과정을 다룹니다. 각 단계별로 자세한 설정 방법과 사용자 정의 모듈 추가, Docker 환경에서의 사용 예시까지 포함하여 설명합니다.목차배경 및 필요성환경 구성 요소Filebeat 설치Filebeat 설정 파일 수정 및 MQTT 입력 설정커스텀 MQTT 모듈 추가 및 Docker 설정Filebeat 실행 및 데이터 확인주의 사항 및 최적화 팁1. 배경 및 필요성MQTT(Message Queuing Telemetry Transport)는 저전력 장치에 최적화된 경량.. 2024. 11. 3. Kubernetes 클러스터 Audit 감사 로그 수집 및 모니터링 kubectl 명령어를 통해 수행한 액션 로그를 기록하고 모니터링하는 방법은 크게 두 가지로 나눌 수 있습니다. 첫 번째는 kubectl의 클라이언트 측에서 로그를 기록하는 방법이고, 두 번째는 쿠버네티스 서버 측에서 API 서버의 액세스 로그를 모니터링하는 방법입니다.1. 클라이언트 측에서 kubectl 명령어 로그 기록kubectl 클라이언트에서 수행한 명령어를 로컬 파일에 기록하는 방법입니다.방법 1: kubectl alias 설정을 통한 로깅kubectl 명령어를 로깅하는 가장 간단한 방법은 alias를 설정하는 것입니다. 아래 예시는 kubectl 명령어를 수행할 때마다 해당 명령어를 로그 파일에 기록하는 방법입니다.alias kubectl='kubectl --context=my-cluster .. 2024. 10. 1. Grafana Loki 통한 로그 수집 통합 모니터링 및 알람 시스템 구성 Loki는 로그 수집, 저장, 조회를 위한 오픈 소스 로그 집계 시스템입니다. Grafana Labs에서 개발하였으며, 특히 대규모 로그 데이터를 효율적으로 관리하고 분석하기 위해 설계되었습니다. Loki는 Prometheus와 유사한 방식으로 작동하지만, 메트릭 대신 로그를 처리합니다. 주요 특징은 다음과 같습니다.효율성: Loki는 인덱스를 최소화하고, 로그 데이터를 압축하여 저장합니다. 이를 통해 디스크 사용량과 검색 속도를 최적화합니다.고가용성 및 확장성: 클러스터링을 지원하여, 대규모 환경에서도 높은 가용성과 확장성을 제공합니다.간편한 통합: Prometheus 및 Grafana와 쉽게 통합할 수 있으며, 로그와 메트릭을 하나의 대시보드에서 함께 분석할 수 있습니다.다양한 입력 소스 지원: Fl.. 2024. 9. 28. Rsyslog 사용하여 다양한 로그 수집 및 유형별 분리 저장 rsyslog를 사용하여 로그를 유형에 따라 분리하여 저장하는 것은 로그 관리를 용이하게 하고 필요한 정보를 신속하게 찾는 데 도움이 됩니다. 여기서는 대표적인 로그 유형(예: auth, mail, cron, kern) 별로 로그를 분리하는 방법을 설명하겠습니다.1. rsyslog 설치 확인rsyslog가 설치되어 있는지 확인합니다. 설치되어 있지 않다면 설치합니다.sudo apt-get updatesudo apt-get install rsyslog2. rsyslog 구성 파일 수정rsyslog의 구성 파일을 수정하여 로그를 유형별로 분리합니다. 일반적으로 /etc/rsyslog.conf 파일을 수정합니다.2.1. /etc/rsyslog.conf 파일 열기sudo nano /etc/rsyslog.conf.. 2024. 8. 21. 폴더 와처를 사용하여 파일 생성, 변경, 삭제 등 모든 이벤트 트리거 방법 Home Assistant에서 폴더 워처(Folder Watcher)를 사용하여 파일 생성, 변경, 삭제 등 모든 이벤트를 트리거하는 방법은 다음과 같습니다. 폴더 워처 컴포넌트를 사용하면 지정된 디렉토리의 파일 시스템 변경을 감지할 수 있습니다.폴더 워처 컴포넌트 설정configuration.yaml 파일에 폴더 워처를 추가합니다. 이 때, 감시할 폴더 경로를 지정해야 합니다. 예를 들어, /config/www 폴더를 감시하고자 한다면 다음과 같이 설정합니다.folder_watcher: - folder: /config/www patterns: - '*.*'이 설정은 모든 파일 변화를 감지하도록 합니다. 패턴을 조정하여 특정 파일 형식만 감시할 수도 있습니다.자동화 설정automation.. 2024. 6. 17. 이전 1 2 다음 728x90
