kafka11 728x90 데이터 엔지니어링 엔드투엔드(End-to-End) 프로젝트 기술 스택 개요1. Apache Airflow개요: Apache Airflow는 워크플로우 자동화 및 스케줄링 도구로, 복잡한 데이터 파이프라인을 정의, 스케줄링 및 모니터링할 수 있습니다.활용 예시데이터 파이프라인을 정의하는 DAG(DAG: Directed Acyclic Graph) 생성DAG를 사용한 데이터 처리 작업 스케줄링Airflow UI를 통해 작업 상태 모니터링2. Apache Zookeeper개요: Apache Zookeeper는 분산 시스템을 위한 중앙 집중형 서비스로, 구성 정보를 관리하고, 분산 시스템의 동기화 및 그룹 서비스를 제공합니다.활용 예시Kafka 클러스터 설정 및 관리분산 시스템의 노드 상태 모니터링 및 구성 정보 저장3. Apache Kafka개요: Apache Kafk.. 2024. 7. 29. 아파치 플링크(Apache Flink) 스트림 프로세싱 프레임워크 구성 Apache Flink 개요Apache Flink는 고성능, 저지연, 그리고 분산 스트리밍 데이터 처리 시스템입니다. Flink는 실시간 스트리밍 데이터와 배치 데이터를 모두 처리할 수 있는 유연한 플랫폼을 제공합니다. 주로 실시간 분석, 데이터 파이프라인, ETL(Extract, Transform, Load) 작업, 이벤트 기반 애플리케이션 등에 사용됩니다.주요 특징저지연 스트리밍 처리: Flink는 이벤트가 발생하는 즉시 데이터를 처리할 수 있습니다.높은 처리량: 분산 시스템 구조로 인해 대규모 데이터도 빠르게 처리할 수 있습니다.상태 관리: Flink는 상태 기반의 스트리밍 작업을 지원하며, 상태를 효율적으로 관리할 수 있는 기능을 제공합니다.유연한 API: DataStream API와 DataSe.. 2024. 7. 9. Kafka 로그 모니터링 및 Manager(CMAK) 활용한 클러스터 관리 Kafka 등록 정보 확인 및 로그 모니터링을 웹 기반으로 수행하는 방법에는 여러 가지 도구와 접근 방법이 있습니다. 이를 위해 아래에서 몇 가지 일반적인 접근 방법을 설명하겠습니다.Kafka 기본 명령어 및 등록 정보 확인Kafka 명령어를 사용하여 클러스터 및 토픽에 대한 기본 정보를 확인할 수 있습니다.# Kafka 클러스터 목록 확인kafka-topics.sh --zookeeper --list# 특정 토픽에 대한 정보 확인kafka-topics.sh --zookeeper --describe --topic Kafka Manager 사용Kafka Manager는 웹 기반의 Kafka 클러스터 관리 도구입니다. 이를 사용하여 토픽의 상태, 파티션 및 브로커에 대한 정보를 쉽게 확인할 수 있습니다. .. 2023. 12. 21. 대량 데이타 실시간 처리 분산 메시징 시스템 Kafka 구조 및 구성 Apache Kafka는 대용량의 데이터를 안정적으로 수집, 저장 및 처리하기 위한 분산 스트리밍 플랫폼입니다. 주로 대규모 데이터의 실시간 스트리밍 및 이벤트 처리에 사용되며, 여러 소비자에게 데이터를 안전하게 전달할 수 있는 메시징 시스템의 역할을 합니다. 주요 특징 분산 아키텍처: Kafka는 여러 브로커로 구성된 분산 아키텍처를 가지며, 데이터를 여러 노드에 분산하여 안정성과 확장성을 제공합니다. 토픽 기반 메시지 큐: 데이터는 토픽(topic)이라는 카테고리로 구분되며, 생산자(producer)가 메시지를 생성하고, 소비자(consumer)가 해당 토픽에서 메시지를 구독하여 처리합니다. 내결함성: 브로커 중 하나가 실패해도 데이터의 유실 없이 안전하게 처리할 수 있도록 내결함성을 제공합니다. 확.. 2023. 12. 8. Debezium으로 DB(데이터베이스) 동기화 구축 Debezium은 데이터베이스의 변경 사항을 캡처하고 이를 이벤트 스트림으로 변환하는 오픈 소스 데이터 변경 스트리밍 플랫폼입니다. Debezium을 사용하여 데이터베이스 간 또는 데이터베이스와 다른 애플리케이션 간의 실시간 데이터 동기화를 구축할 수 있습니다. 아래는 Debezium을 사용하여 DB 동기화를 구축하는 과정에 대한 기본적인 정보입니다. Debezium 설치 및 설정: 먼저 Debezium을 설치하고 설정해야 합니다. Debezium은 Kafka Connect 플러그인으로 제공되며, Apache Kafka 클러스터를 사용하여 변경 이벤트를 게시합니다. Kafka와 Kafka Connect를 먼저 설치하고 Debezium 플러그인을 추가해야 합니다. 데이터베이스 연결 구성: Debezium은.. 2023. 11. 11. 이전 1 2 3 다음 728x90 728x90
