Kibana23 728x90 데이터 엔지니어링 엔드투엔드(End-to-End) 프로젝트 기술 스택 개요1. Apache Airflow개요: Apache Airflow는 워크플로우 자동화 및 스케줄링 도구로, 복잡한 데이터 파이프라인을 정의, 스케줄링 및 모니터링할 수 있습니다.활용 예시데이터 파이프라인을 정의하는 DAG(DAG: Directed Acyclic Graph) 생성DAG를 사용한 데이터 처리 작업 스케줄링Airflow UI를 통해 작업 상태 모니터링2. Apache Zookeeper개요: Apache Zookeeper는 분산 시스템을 위한 중앙 집중형 서비스로, 구성 정보를 관리하고, 분산 시스템의 동기화 및 그룹 서비스를 제공합니다.활용 예시Kafka 클러스터 설정 및 관리분산 시스템의 노드 상태 모니터링 및 구성 정보 저장3. Apache Kafka개요: Apache Kafk.. 2024. 7. 29. Linux 프로세스 및 파일 추가/변경/삭제 이벤트 로그수집 및 감사 auditd를 통해 실행되는 프로세스 이벤트와 파일 추가/변경/삭제 이벤트를 로그로 기록하고 수집할 수 있습니다. 강력한 Linux 감사 프레임워크로, 다양한 시스템 이벤트를 모니터링하고 기록할 수 있습니다. 이를 위해서는 auditd를 설정하고 필요한 규칙을 정의해야 합니다. 다음은 auditd를 설정하고 프로세스 및 파일 이벤트를 모니터링하는 방법입니다.auditd 설치: CentOS 5에서는 auditd를 다음과 같이 설치할 수 있습니다.yum install auditauditd 서비스 시작: auditd 서비스를 시작하고 부팅 시 자동으로 시작되도록 설정합니다.service auditd startchkconfig auditd on규칙 정의: /etc/audit/audit.rules 파일에 규칙을 .. 2024. 7. 18. Kibana Alerting 복잡한 조건을 체크 및 알람 n8n 자동화 연동 n8n을 사용하여 Kibana와 연동하여 복잡한 조건을 체크하고 알람을 설정하는 자동화 프로세스를 구축하는 것은 좋은 선택입니다. n8n은 데이터를 수집, 처리, 모니터링 및 자동화할 수 있는 강력한 워크플로 자동화 도구입니다. 여기에 Kibana와의 연동을 포함하는 프로세스를 설명하겠습니다.1. n8n 환경 설정n8n을 설치하고 실행해야 합니다. n8n은 Docker, npm, 또는 바이너리 파일을 통해 설치할 수 있습니다.2. Kibana에서 데이터 접근 설정Kibana에서 데이터를 검색하려면 Elasticsearch의 API를 사용할 수 있습니다. 이를 위해서는 Kibana가 설치된 서버에서 API 접근이 가능하도록 설정해야 합니다. 보안을 위해 API 키를 생성하거나 HTTP 인증을 설정할 수 있.. 2024. 7. 16. 네트워크 패킷 실시간 수집분석 효율적인 중복제거 및 특이사항 필터링 네트워크 패킷을 syslog를 통해 수집할 때, 데이터의 양이 많아 중복 항목을 효율적으로 제거하는 방법(Network Packet Deduplication Strategies)은 여러 가지가 있습니다. 중복 데이터를 제거하는 것은 저장 공간을 절약하고, 분석을 더 빠르고 정확하게 만들어줍니다.해시 함수 사용: 각 패킷에 대한 해시 값을 계산하고, 이 값을 기반으로 중복을 확인합니다. SHA-256 또는 MD5와 같은 해시 함수를 사용하여 각 패킷의 고유한 지문을 생성할 수 있습니다. 이 방법은 데이터의 무결성 검사에도 유용합니다.데이터 정규화: 데이터를 분석하기 전에, 가능한 한 모든 패킷을 표준 형식으로 정규화합니다. 이것은 IP 주소, 타임스탬프 등의 필드에서 발생할 수 있는 미세한 차이를 제거하여.. 2024. 5. 15. Elasticsearch 클러스터 다중 Kibana 인스턴스 연결 구성 하나의 Elasticsearch 클러스터에 여러 Kibana 인스턴스를 연결할 수 있습니다. 이 구성은 대규모 환경이나 다중 조직 환경에서 유용할 수 있습니다. 각 Kibana 인스턴스는 동일한 Elasticsearch 데이터에 대한 접근을 제공하면서도 사용자별, 팀별, 또는 프로젝트별로 맞춤화된 대시보드와 시각화를 제공할 수 있습니다. 다만, 여러 Kibana 인스턴스를 운영할 때 고려해야 할 몇 가지 사항이 있습니다.리소스와 성능: 각 Kibana 인스턴스는 자체적인 서버 리소스를 사용합니다. 따라서, 여러 인스턴스를 운영할 경우 적절한 하드웨어 및 네트워크 리소스를 확보해야 합니다.버전 호환성: 모든 Kibana 인스턴스가 연결되는 Elasticsearch 클러스터와 호환되는 버전이어야 합니다. E.. 2024. 5. 12. 이전 1 2 3 4 5 다음 728x90 728x90
