pandas2 데이터 엔지니어링 엔드투엔드(End-to-End) 프로젝트 기술 스택 개요1. Apache Airflow개요: Apache Airflow는 워크플로우 자동화 및 스케줄링 도구로, 복잡한 데이터 파이프라인을 정의, 스케줄링 및 모니터링할 수 있습니다.활용 예시데이터 파이프라인을 정의하는 DAG(DAG: Directed Acyclic Graph) 생성DAG를 사용한 데이터 처리 작업 스케줄링Airflow UI를 통해 작업 상태 모니터링2. Apache Zookeeper개요: Apache Zookeeper는 분산 시스템을 위한 중앙 집중형 서비스로, 구성 정보를 관리하고, 분산 시스템의 동기화 및 그룹 서비스를 제공합니다.활용 예시Kafka 클러스터 설정 및 관리분산 시스템의 노드 상태 모니터링 및 구성 정보 저장3. Apache Kafka개요: Apache Kafk.. 2024. 7. 29. Jupyter Notebook 한글 Docker 환경 구성 및 테스트 Docker를 사용하여 Jupyter Notebook을 실행하면서 한글 폰트 문제를 해결하는 방법을 확인해 보겠습니다. Dockerfile 작성이 Dockerfile은 jupyter/datascience-notebook:latest 이미지를 기반으로하여 빌드됩니다. 우분투 패키지 소스를 한국 미러로 변경하고, 나눔 폰트를 설치한 다음, 폰트 캐시를 업데이트합니다. 먼저, Jupyter Notebook을 실행할 Docker 이미지를 빌드하기 위한 Dockerfile을 작성해야 합니다. 아래는 Dockerfile의 내용입니다. FROM jupyter/datascience-notebook:latest USER root # Ubuntu 패키지 소스를 한국 미러로 변경 RUN sed -i 's/archive.ub.. 2023. 9. 26. 이전 1 다음 728x90
