본문 바로가기

Elasticsearch34

728x90
Filebeat 활용 MQTT 이벤트 수집 및 Elasticsearch 기록 분석 가이드 IoT와 같은 환경에서는 MQTT 브로커로부터 데이터를 수집하고 이를 Elasticsearch에 기록하여 분석하는 것이 중요합니다. 이 글에서는 Filebeat를 통해 MQTT 브로커에서 데이터를 읽어와 Elasticsearch에 전송하는 전체 과정을 다룹니다. 각 단계별로 자세한 설정 방법과 사용자 정의 모듈 추가, Docker 환경에서의 사용 예시까지 포함하여 설명합니다.목차배경 및 필요성환경 구성 요소Filebeat 설치Filebeat 설정 파일 수정 및 MQTT 입력 설정커스텀 MQTT 모듈 추가 및 Docker 설정Filebeat 실행 및 데이터 확인주의 사항 및 최적화 팁1. 배경 및 필요성MQTT(Message Queuing Telemetry Transport)는 저전력 장치에 최적화된 경량.. 2024. 11. 3.
Linux 보안 자동화를 위한 Ansible 활용 실용적인 방법 Ansible과 Linux를 통합하여 보안 자동화를 구현하면 시스템의 보안 상태를 강화하고, 관리 작업을 간소화하며, 일관된 규정을 준수할 수 있습니다. 아래는 Ansible과 Linux 보안 관리의 통합을 위한 몇 가지 실용적인 방법입니다.1. AI 통합을 통한 향상된 자동화AI 기반 도구를 Ansible과 통합하면 보안 자동화가 크게 향상될 수 있습니다. AI 기반 도구는 다음과 같은 작업에 도움을 줄 수 있습니다.명령 해석: 자동으로 명령을 해석하고 실행합니다.이상 탐지: 네트워크 트래픽이나 시스템 동작에서 비정상적인 패턴을 식별합니다.예측 분석: 과거 데이터를 기반으로 잠재적인 보안 위협을 예측합니다.자체 학습 자동화: 시간이 지남에 따라 보안 조치를 적응하고 개선합니다. 예제 플레이북: 이상 탐.. 2024. 10. 29.
Django와 Celery 사용한 비동기 및 주기적인 작업 스케줄링 Django와 Celery를 함께 사용하면 비동기 작업 및 주기적인 작업 스케줄링이 가능합니다. Celery는 작업 큐(Task Queue) 시스템으로, 백그라운드에서 비동기적으로 실행될 수 있는 작업을 처리하는 데 매우 유용합니다. Django와 함께 Celery를 설정하고 사용하는 방법입니다.1. Celery 설치Celery와 필요한 추가 패키지를 설치합니다.pip install celerypip install django-celery-beat # 주기적인 작업을 위해2. Django 프로젝트에 Celery 설정프로젝트 루트 디렉토리에 celery.py 파일을 생성하고 다음과 같이 설정합니다.# project/celery.pyfrom __future__ import absolute_import, u.. 2024. 10. 28.
Zookeeper, Storm, Kafka, Elasticsearch 클러스터 고가용성 구성 Zookeeper, Storm, Kafka, Elasticsearch 클러스터를 고가용성으로 구성하는 것은 데이터의 안정적인 수집, 처리, 저장을 보장하는 데 중요합니다. 각 구성 요소는 다음과 같은 역할을 합니다.Zookeeper: 분산 애플리케이션을 위한 중앙 집중형 서비스로, Kafka 및 Storm의 클러스터 관리에 사용됩니다.Kafka: 고성능 메시징 시스템으로, 데이터를 수집하여 Storm으로 전달합니다.Storm: 실시간 데이터 처리 시스템으로, 데이터를 처리한 후 Elasticsearch에 저장합니다.Elasticsearch: 분산 검색 및 분석 엔진으로, 최종 데이터를 저장하고 검색합니다.1. Zookeeper 클러스터 구성서버 준비: 최소 3대의 서버를 준비합니다.Zookeeper 설치.. 2024. 10. 23.
Elasticsearch 설정 우선순위와 효율적인 적용 방법 (클러스터 관리 핵심) Elasticsearch의 설정을 업데이트하는 방법에는 세 가지 주요 접근 방식이 있습니다. transient update, persistent update, 그리고 elasticsearch.yml 파일을 통한 업데이트입니다. 각 접근 방식은 적용 범위와 지속성에서 차이가 있으며, 우선순위도 다릅니다. 각 방법에 대한 상세한 설명과 구체적인 사례에 대해서 자세히 알아보겠습니다.설정 업데이트 방법 및 우선순위Transient Settings (임시 설정)특징: 클러스터가 재시작되면 사라지는 일시적인 설정입니다.용도: 단기적인 테스트나 일시적인 설정 변경에 유용합니다.우선순위: 가장 높은 우선순위를 가집니다.Persistent Settings (지속적 설정)특징: 클러스터가 재시작되어도 유지되는 영구적인 설.. 2024. 10. 4.
728x90
728x90

티스토리툴바