Elasticsearch37 728x90 Elasticsearch 영구적인 RDBMS 구성으로 전통적인 CRUD 작업 수행 Elasticsearch에서 로그 데이터를 저장하고 일정 기간이 지나면 자동으로 삭제되는 방식과는 다르게, 영구적으로 데이터를 저장하고 RDBMS처럼 검색하고 활용하는 방법에 대해 설명드리겠습니다.인덱스 설정 및 매핑 구성영구적으로 데이터를 저장하려면 인덱스의 매핑과 설정을 적절히 구성해야 합니다. 특히, 로그 방식과는 다르게, 검색 및 분석에 최적화된 매핑을 설정하는 것이 중요합니다.PUT /my_persistent_index{ "settings": { "number_of_shards": 1, "number_of_replicas": 1 }, "mappings": { "properties": { "timestamp": { "type": "date" },.. 2024. 8. 2. 데이터 엔지니어링 엔드투엔드(End-to-End) 프로젝트 기술 스택 개요1. Apache Airflow개요: Apache Airflow는 워크플로우 자동화 및 스케줄링 도구로, 복잡한 데이터 파이프라인을 정의, 스케줄링 및 모니터링할 수 있습니다.활용 예시데이터 파이프라인을 정의하는 DAG(DAG: Directed Acyclic Graph) 생성DAG를 사용한 데이터 처리 작업 스케줄링Airflow UI를 통해 작업 상태 모니터링2. Apache Zookeeper개요: Apache Zookeeper는 분산 시스템을 위한 중앙 집중형 서비스로, 구성 정보를 관리하고, 분산 시스템의 동기화 및 그룹 서비스를 제공합니다.활용 예시Kafka 클러스터 설정 및 관리분산 시스템의 노드 상태 모니터링 및 구성 정보 저장3. Apache Kafka개요: Apache Kafk.. 2024. 7. 29. SOC 구축: TheHive, Cortex 및 MISP 설치 TheHive와 Cortex를 연동하여 SOC(Security Operations Center) 운영을 계획하신다면, 기본적으로 Elasticsearch를 포함한 몇 가지 주요 구성 요소가 필요합니다. TheHive와 Cortex는 특히 사건(response)을 관리하고, 위협을 분석하며, 자동화된 대응을 지원하기 위해 설계된 도구들입니다. Elasticsearch는 이러한 도구들이 데이터를 저장하고 검색하는 데 필수적인 역할을 합니다. 다음은 TheHive와 Cortex 연동 및 SOC 운영을 위한 기본적인 구성 요소들입니다.Elasticsearch: TheHive와 Cortex 모두 Elasticsearch를 데이터 저장소로 사용합니다. 이는 빠른 검색과 데이터 분석을 위해 필수적입니다.설치 및 설정.. 2024. 7. 27. n8n에서 Elasticsearch로 직접 쿼리하여 자동화 처리 운영 n8n에서 Elasticsearch로 직접 쿼리하여 최근 날짜의 값을 추출하려면 HTTP Request 노드를 사용하여 Elasticsearch에 쿼리를 보낼 수 있습니다. 다음은 이를 구현하는 예제입니다.HTTP Request 노드 설정Method: POSTURL: http://your_elasticsearch_host:9200/{target_index}-*/_searchHeaders: Content-Type: application/jsonBody: 아래 JSON 형식JSON Body{ "from": 0, "size": 1, "sort": [ { "timestamp": { "order": "desc" } } ], "query": { "bool": .. 2024. 7. 25. Linux 프로세스 및 파일 추가/변경/삭제 이벤트 로그수집 및 감사 auditd를 통해 실행되는 프로세스 이벤트와 파일 추가/변경/삭제 이벤트를 로그로 기록하고 수집할 수 있습니다. 강력한 Linux 감사 프레임워크로, 다양한 시스템 이벤트를 모니터링하고 기록할 수 있습니다. 이를 위해서는 auditd를 설정하고 필요한 규칙을 정의해야 합니다. 다음은 auditd를 설정하고 프로세스 및 파일 이벤트를 모니터링하는 방법입니다.auditd 설치: CentOS 5에서는 auditd를 다음과 같이 설치할 수 있습니다.yum install auditauditd 서비스 시작: auditd 서비스를 시작하고 부팅 시 자동으로 시작되도록 설정합니다.service auditd startchkconfig auditd on규칙 정의: /etc/audit/audit.rules 파일에 규칙을 .. 2024. 7. 18. 이전 1 2 3 4 5 6 7 8 다음 728x90 728x90
