Elasticsearch36 728x90 데이터 엔지니어링 엔드투엔드(End-to-End) 프로젝트 기술 스택 개요1. Apache Airflow개요: Apache Airflow는 워크플로우 자동화 및 스케줄링 도구로, 복잡한 데이터 파이프라인을 정의, 스케줄링 및 모니터링할 수 있습니다.활용 예시데이터 파이프라인을 정의하는 DAG(DAG: Directed Acyclic Graph) 생성DAG를 사용한 데이터 처리 작업 스케줄링Airflow UI를 통해 작업 상태 모니터링2. Apache Zookeeper개요: Apache Zookeeper는 분산 시스템을 위한 중앙 집중형 서비스로, 구성 정보를 관리하고, 분산 시스템의 동기화 및 그룹 서비스를 제공합니다.활용 예시Kafka 클러스터 설정 및 관리분산 시스템의 노드 상태 모니터링 및 구성 정보 저장3. Apache Kafka개요: Apache Kafk.. 2024. 7. 29. SOC 구축: TheHive, Cortex 및 MISP 설치 TheHive와 Cortex를 연동하여 SOC(Security Operations Center) 운영을 계획하신다면, 기본적으로 Elasticsearch를 포함한 몇 가지 주요 구성 요소가 필요합니다. TheHive와 Cortex는 특히 사건(response)을 관리하고, 위협을 분석하며, 자동화된 대응을 지원하기 위해 설계된 도구들입니다. Elasticsearch는 이러한 도구들이 데이터를 저장하고 검색하는 데 필수적인 역할을 합니다. 다음은 TheHive와 Cortex 연동 및 SOC 운영을 위한 기본적인 구성 요소들입니다.Elasticsearch: TheHive와 Cortex 모두 Elasticsearch를 데이터 저장소로 사용합니다. 이는 빠른 검색과 데이터 분석을 위해 필수적입니다.설치 및 설정.. 2024. 7. 27. n8n에서 Elasticsearch로 직접 쿼리하여 자동화 처리 운영 n8n에서 Elasticsearch로 직접 쿼리하여 최근 날짜의 값을 추출하려면 HTTP Request 노드를 사용하여 Elasticsearch에 쿼리를 보낼 수 있습니다. 다음은 이를 구현하는 예제입니다.HTTP Request 노드 설정Method: POSTURL: http://your_elasticsearch_host:9200/{target_index}-*/_searchHeaders: Content-Type: application/jsonBody: 아래 JSON 형식JSON Body{ "from": 0, "size": 1, "sort": [ { "timestamp": { "order": "desc" } } ], "query": { "bool": .. 2024. 7. 25. Linux 프로세스 및 파일 추가/변경/삭제 이벤트 로그수집 및 감사 auditd를 통해 실행되는 프로세스 이벤트와 파일 추가/변경/삭제 이벤트를 로그로 기록하고 수집할 수 있습니다. 강력한 Linux 감사 프레임워크로, 다양한 시스템 이벤트를 모니터링하고 기록할 수 있습니다. 이를 위해서는 auditd를 설정하고 필요한 규칙을 정의해야 합니다. 다음은 auditd를 설정하고 프로세스 및 파일 이벤트를 모니터링하는 방법입니다.auditd 설치: CentOS 5에서는 auditd를 다음과 같이 설치할 수 있습니다.yum install auditauditd 서비스 시작: auditd 서비스를 시작하고 부팅 시 자동으로 시작되도록 설정합니다.service auditd startchkconfig auditd on규칙 정의: /etc/audit/audit.rules 파일에 규칙을 .. 2024. 7. 18. Kibana Alerting 복잡한 조건을 체크 및 알람 n8n 자동화 연동 n8n을 사용하여 Kibana와 연동하여 복잡한 조건을 체크하고 알람을 설정하는 자동화 프로세스를 구축하는 것은 좋은 선택입니다. n8n은 데이터를 수집, 처리, 모니터링 및 자동화할 수 있는 강력한 워크플로 자동화 도구입니다. 여기에 Kibana와의 연동을 포함하는 프로세스를 설명하겠습니다.1. n8n 환경 설정n8n을 설치하고 실행해야 합니다. n8n은 Docker, npm, 또는 바이너리 파일을 통해 설치할 수 있습니다.2. Kibana에서 데이터 접근 설정Kibana에서 데이터를 검색하려면 Elasticsearch의 API를 사용할 수 있습니다. 이를 위해서는 Kibana가 설치된 서버에서 API 접근이 가능하도록 설정해야 합니다. 보안을 위해 API 키를 생성하거나 HTTP 인증을 설정할 수 있.. 2024. 7. 16. 이전 1 2 3 4 5 6 7 8 다음 728x90 728x90
