Kibana17 Elasticsearch 대량 데이터 효과적 운영을 위한 핫 & 콜드 데이터 관리 Elasticsearch 방대한 양의 데이터를 효과적으로 운영하기 위한 핫 데이터와 콜드 데이터 관리 방식운영 환경에서 대량의 로그 데이터를 수집하고 관리할 때, 성능 최적화와 비용 효율성을 위해 데이터를 핫 데이터(자주 조회되는 최신 데이터)와 콜드 데이터(빈도 낮은 오래된 데이터)로 분류하여 관리하는 전략을 사용할 수 있습니다.핫 데이터와 콜드 데이터 분류 전략핫 데이터(Hot Data)정의: 최근 수집된 데이터로, 조회 빈도가 높고 빠른 검색 성능이 필요한 데이터입니다.저장 위치: Elasticsearch의 빠른 검색 인덱스에 저장합니다.관리: 주로 Elasticsearch의 기본 노드에 저장되며, 고성능 디스크를 사용합니다.콜드 데이터(Cold Data)정의: 일정 기간이 지난 후 접근 빈도가 낮.. 2024. 11. 5. Filebeat 활용 MQTT 이벤트 수집 및 Elasticsearch 기록 분석 가이드 IoT와 같은 환경에서는 MQTT 브로커로부터 데이터를 수집하고 이를 Elasticsearch에 기록하여 분석하는 것이 중요합니다. 이 글에서는 Filebeat를 통해 MQTT 브로커에서 데이터를 읽어와 Elasticsearch에 전송하는 전체 과정을 다룹니다. 각 단계별로 자세한 설정 방법과 사용자 정의 모듈 추가, Docker 환경에서의 사용 예시까지 포함하여 설명합니다.목차배경 및 필요성환경 구성 요소Filebeat 설치Filebeat 설정 파일 수정 및 MQTT 입력 설정커스텀 MQTT 모듈 추가 및 Docker 설정Filebeat 실행 및 데이터 확인주의 사항 및 최적화 팁1. 배경 및 필요성MQTT(Message Queuing Telemetry Transport)는 저전력 장치에 최적화된 경량.. 2024. 11. 3. Docker 인증 우회 취약점 보안 강화 보호조치 및 모니터링 통제관리 Docker 인증 우회 취약점과 같은 보안 이슈는 시스템 전체에 심각한 영향을 미칠 수 있습니다. 따라서 Docker 데몬의 보안을 강화하고 지속적으로 모니터링하는 것이 매우 중요합니다. 아래에서는 Docker 데몬 보안을 위한 체크리스트, 보호 조치, 모니터링 및 통제 관리 방안입니다.1. Docker Daemon 보안 체크1.1. 외부 노출 여부위험성: Docker Daemon이 외부에 노출되면, 외부 공격자가 이를 악용하여 컨테이너를 생성, 삭제, 조작할 수 있습니다.보호 조치방화벽 설정: Docker Daemon 포트(기본적으로 2375/2376)를 외부에서 접근할 수 없도록 방화벽을 설정합니다.Docker Daemon 설정 변경: Docker Daemon을 외부 인터페이스가 아닌 localhos.. 2024. 10. 8. Kali Linux VM(VirtualBox)으로 Elastic SIEM 구축 단계 Elastic SIEM 구축을 위한 명령어와 옵션을 포함한 세부 단계를 간략하게 정리합니다.작업 1: Elastic 계정 설정Elastic Cloud에서 무료 체험을 등록합니다.Elastic Cloud에서 계정을 생성합니다.Elastic Cloud 콘솔에 로그인한 후 "Start your free trial"을 클릭합니다."Create Deployment" 버튼을 클릭하고 "Elasticsearch"를 선택합니다.지역과 배포 크기를 선택하고 "Create Deployment"를 클릭합니다.설정이 완료되면 "Continue"를 클릭합니다.작업 2: Linux VM 설정VirtualBox에 Kali Linux VM 설치Kali Linux VM 다운로드Kali Linux VM 페이지에서 VM 이미지를 다운로드.. 2024. 9. 21. 데이터 엔지니어링 엔드투엔드(End-to-End) 프로젝트 기술 스택 개요1. Apache Airflow개요: Apache Airflow는 워크플로우 자동화 및 스케줄링 도구로, 복잡한 데이터 파이프라인을 정의, 스케줄링 및 모니터링할 수 있습니다.활용 예시데이터 파이프라인을 정의하는 DAG(DAG: Directed Acyclic Graph) 생성DAG를 사용한 데이터 처리 작업 스케줄링Airflow UI를 통해 작업 상태 모니터링2. Apache Zookeeper개요: Apache Zookeeper는 분산 시스템을 위한 중앙 집중형 서비스로, 구성 정보를 관리하고, 분산 시스템의 동기화 및 그룹 서비스를 제공합니다.활용 예시Kafka 클러스터 설정 및 관리분산 시스템의 노드 상태 모니터링 및 구성 정보 저장3. Apache Kafka개요: Apache Kafk.. 2024. 7. 29. 이전 1 2 3 4 다음 728x90
