operator3 728x90 Apache Airflow로 API·DB 작업 자동화 Connection, Hook, Operator Airflow를 처음 배우면 거의 항상 나오는 질문이 있습니다.“Airflow로 API 호출이나 데이터베이스 작업도 자동화할 수 있나요?”정답은 물론 가능합니다.그리고 Airflow는 “그걸 잘하기 위해 만들어진 도구”라고 보는 편이 더 정확합니다.다만, 외부 시스템(API/DB 등)과 연동할 때는 반드시 알아야 할 핵심 개념이 있습니다.ConnectionHookOperatorAirflow에서 외부 시스템 연동은 어떻게 이루어질까?Airflow는 DAG(워크플로)를 실행하면서, 외부 시스템과 통신하는 작업을 “Task”로 처리합니다.이 Task는 보통 Operator로 구현되고, 실제 접속은 Hook이 담당하며, 접속 정보는 Connection에 저장됩니다.전체 흐름DAG에서 Task(Operator) .. 2026. 2. 2. Airflow Serverless 환경에서 Kubernetes 클러스터 이전 가이드 워크플로우 관리 플랫폼인 Apache Airflow를 사용하면서 서버리스 환경에서 Kubernetes(K8S)로 이전하려는 경우가 많습니다. 이전 과정을 이해할 수 있도록 설명하고, 사전에 검토해야 할 사항과 발생할 수 있는 문제들의 해결책을 정리합니다.서버리스 환경의 장점자동 확장: 트래픽이나 작업량 증가에 따라 리소스가 자동으로 확장되어 성능을 유지합니다.관리 부담 감소: 인프라 관리에 드는 시간을 줄이고 애플리케이션 개발과 개선에 집중할 수 있습니다.비용 효율성: 사용한 만큼만 비용을 지불하므로, 리소스 낭비를 최소화하고 비용 관리가 용이합니다.하지만 특정한 요구사항이나 성능 최적화를 위해서는 Kubernetes로 이전하여 더 세밀한 제어와 확장성을 확보해야 할 때가 있습니다.사전 검토 사항 및 고.. 2024. 10. 17. Kubernetes 환경에 Elasticsearch, Kibana 및 기타 Elastic 제품 구성 Elasticsearch, Kibana 및 기타 Elastic 제품을 관리하기 위한 Elastic Cloud on Kubernetes (ECK)를 설치하는 과정을 안내합니다. 아래는 주요 단계들을 정리한 것입니다. 전제 조건 Kubernetes 클러스터가 이미 실행 중이어야 합니다. ECK 설치 전에 지원되는 버전을 확인하세요. GKE를 사용하는 경우 사용자가 cluster-admin 권한을 가지고 있어야 합니다. Amazon EKS를 사용하는 경우 Kubernetes 제어 평면이 포트 443에서 Kubernetes 노드와 통신할 수 있도록 허용되어야 합니다. Custom Resource Definitions(CRDs) 설치:Elastic 관련 CRDs가 생성됩니다. kubectl create -f ht.. 2023. 12. 2. 이전 1 다음 728x90 728x90
