Kibana24 728x90 Kali Linux VM(VirtualBox)으로 Elastic SIEM 구축 단계 Elastic SIEM 구축을 위한 명령어와 옵션을 포함한 세부 단계를 간략하게 정리합니다.작업 1: Elastic 계정 설정Elastic Cloud에서 무료 체험을 등록합니다.Elastic Cloud에서 계정을 생성합니다.Elastic Cloud 콘솔에 로그인한 후 "Start your free trial"을 클릭합니다."Create Deployment" 버튼을 클릭하고 "Elasticsearch"를 선택합니다.지역과 배포 크기를 선택하고 "Create Deployment"를 클릭합니다.설정이 완료되면 "Continue"를 클릭합니다.작업 2: Linux VM 설정VirtualBox에 Kali Linux VM 설치Kali Linux VM 다운로드Kali Linux VM 페이지에서 VM 이미지를 다운로드.. 2024. 9. 21. 데이터 엔지니어링 엔드투엔드(End-to-End) 프로젝트 기술 스택 개요1. Apache Airflow개요: Apache Airflow는 워크플로우 자동화 및 스케줄링 도구로, 복잡한 데이터 파이프라인을 정의, 스케줄링 및 모니터링할 수 있습니다.활용 예시데이터 파이프라인을 정의하는 DAG(DAG: Directed Acyclic Graph) 생성DAG를 사용한 데이터 처리 작업 스케줄링Airflow UI를 통해 작업 상태 모니터링2. Apache Zookeeper개요: Apache Zookeeper는 분산 시스템을 위한 중앙 집중형 서비스로, 구성 정보를 관리하고, 분산 시스템의 동기화 및 그룹 서비스를 제공합니다.활용 예시Kafka 클러스터 설정 및 관리분산 시스템의 노드 상태 모니터링 및 구성 정보 저장3. Apache Kafka개요: Apache Kafk.. 2024. 7. 29. Linux 프로세스 및 파일 추가/변경/삭제 이벤트 로그수집 및 감사 auditd를 통해 실행되는 프로세스 이벤트와 파일 추가/변경/삭제 이벤트를 로그로 기록하고 수집할 수 있습니다. 강력한 Linux 감사 프레임워크로, 다양한 시스템 이벤트를 모니터링하고 기록할 수 있습니다. 이를 위해서는 auditd를 설정하고 필요한 규칙을 정의해야 합니다. 다음은 auditd를 설정하고 프로세스 및 파일 이벤트를 모니터링하는 방법입니다.auditd 설치: CentOS 5에서는 auditd를 다음과 같이 설치할 수 있습니다.yum install auditauditd 서비스 시작: auditd 서비스를 시작하고 부팅 시 자동으로 시작되도록 설정합니다.service auditd startchkconfig auditd on규칙 정의: /etc/audit/audit.rules 파일에 규칙을 .. 2024. 7. 18. Kibana Alerting 복잡한 조건을 체크 및 알람 n8n 자동화 연동 n8n을 사용하여 Kibana와 연동하여 복잡한 조건을 체크하고 알람을 설정하는 자동화 프로세스를 구축하는 것은 좋은 선택입니다. n8n은 데이터를 수집, 처리, 모니터링 및 자동화할 수 있는 강력한 워크플로 자동화 도구입니다. 여기에 Kibana와의 연동을 포함하는 프로세스를 설명하겠습니다.1. n8n 환경 설정n8n을 설치하고 실행해야 합니다. n8n은 Docker, npm, 또는 바이너리 파일을 통해 설치할 수 있습니다.2. Kibana에서 데이터 접근 설정Kibana에서 데이터를 검색하려면 Elasticsearch의 API를 사용할 수 있습니다. 이를 위해서는 Kibana가 설치된 서버에서 API 접근이 가능하도록 설정해야 합니다. 보안을 위해 API 키를 생성하거나 HTTP 인증을 설정할 수 있.. 2024. 7. 16. 네트워크 패킷 실시간 수집분석 효율적인 중복제거 및 특이사항 필터링 네트워크 패킷을 syslog를 통해 수집할 때, 데이터의 양이 많아 중복 항목을 효율적으로 제거하는 방법(Network Packet Deduplication Strategies)은 여러 가지가 있습니다. 중복 데이터를 제거하는 것은 저장 공간을 절약하고, 분석을 더 빠르고 정확하게 만들어줍니다.해시 함수 사용: 각 패킷에 대한 해시 값을 계산하고, 이 값을 기반으로 중복을 확인합니다. SHA-256 또는 MD5와 같은 해시 함수를 사용하여 각 패킷의 고유한 지문을 생성할 수 있습니다. 이 방법은 데이터의 무결성 검사에도 유용합니다.데이터 정규화: 데이터를 분석하기 전에, 가능한 한 모든 패킷을 표준 형식으로 정규화합니다. 이것은 IP 주소, 타임스탬프 등의 필드에서 발생할 수 있는 미세한 차이를 제거하여.. 2024. 5. 15. 이전 1 2 3 4 5 다음 728x90 728x90
