본문 바로가기

파이프라인2

Apache Airflow 워크플로우 자동화 및 관리 시스템 Apache Airflow는 워크플로우를 작성, 예약 및 모니터링하기 쉽게 하는 오픈 소스 워크플로우 관리 시스템입니다. Airflow는 작업을 자동화하고 예약하며 종속성을 가진 작업을 연결하는 데 사용할 수 있는 워크플로우 오케스트레이터 및 스케줄러입니다. 워크플로우는 시작부터 끝까지의 연산 순서로, Airflow에서는 일반 Python 프로그래밍을 사용하여 Directed Acyclic Graphs (DAG)로 작성됩니다. DAG가 언제 실행을 시작하고 종료해야 하는지 구성할 수 있으며 매우 직관적인 Airflow UI를 통해 워크플로우 모니터링을 설정할 수 있습니다. Airflow를 쉽게 사용할 수 있으며 기본적인 Python 지식만 필요하므로 빠르게 시작할 수 있습니다. 또한 완전히 오픈 소스입니.. 2023. 11. 4.
Distribution Registry & GitLab CI/CD 파이프라인 실행 Docker 이미지 레지스트리를 Docker 환경에서 구성하는 방법은 아래 단계를 따라 하나씩 진행하면 됩니다. 참고: 이 예제에서는 registry:2 이미지를 사용하여 Docker 레지스트리를 실행하겠습니다. Docker 이미지 레지스트리를 실행할 디렉토리를 생성합니다. 이 디렉토리는 이미지 데이터를 저장하는 데 사용됩니다. /path/to/registry/data 경로는 레지스트리 데이터를 저장할 원하는 경로로 변경해야 합니다. mkdir /path/to/registry/data 다음 명령어를 사용하여 Docker 이미지 레지스트리 컨테이너를 실행합니다. 이 컨테이너는 Docker Hub에서 registry:2 이미지를 다운로드하고 실행합니다. 포트 5000을 통해 레지스트리에 접근할 수 있게 설정.. 2023. 11. 2.