본문 바로가기

workflow16

Airflow Workflow 관리 고도화 및 문제 대응 기술적인 전략과 노하우 Apache Airflow를 통한 데이터 파이프라인 관리는 고도의 기술적 이해와 운영 노하우를 요구합니다. 실제 운영 과정에서 발견되는 다양한 문제들에 대한 체계적이고 실용적인 대응 방안은 시스템의 안정성을 보장하고, 효율적인 운영을 가능하게 합니다. 아래는 Airflow 운영을 고도화하고, 주요 문제에 대응하는 방안에 대한 종합적인 유형입니다. Airflow 운영 고도화 및 문제 대응 전략 1. 리소스 관리 최적화 동적 리소스 할당: Airflow의 동적 리소스 할당 기능을 활용하여, 실행 중인 Task의 수와 유형에 따라 필요한 리소스를 동적으로 할당합니다. 이를 위해 KubernetesExecutor를 사용하면, 각 Task에 필요한 CPU와 메모리를 Task 정의 시 지정할 수 있습니다. Airf.. 2024. 4. 11.
n8n workflow 자동화 툴 운영 시 외부(서비스/시스템)에서 웹훅 호출 n8n은 자체 호스팅 가능한 워크플로우 자동화 도구로, Zapier와 유사하지만 오픈 소스로 제공됩니다. 이 도구를 사용하면 다양한 애플리케이션 간의 데이터를 쉽게 연동할 수 있으며, 특히 웹훅을 통한 자동화에 효과적입니다. 웹훅은 WordPress, Ghost Blog, Mattermost, GitLab 등 다수의 애플리케이션이 지원하는 간단한 콜백 시스템입니다. 이러한 웹훅을 사용하면, 예를 들어 Ghost Blog에서 새로운 글이 게시되거나 업데이트될 때 지정된 URL로 JSON 데이터를 자동으로 전송할 수 있습니다. 웹훅 데이터를 받은 후 이를 다른 애플리케이션과 통합하려면 n8n과 같은 도구가 필요합니다. 예를 들어, Ghost Blog에서 오는 데이터를 Mattermost로 전송하려면, 단순히.. 2024. 4. 9.
No-Code 또는 Low-Code 워크플로우(Workflow) 자동화 플랫폼 n8n 활용 n8n은 "No-code" 또는 "Low-code" 워크플로우 자동화 플랫폼으로, 다양한 시스템과 서비스를 연결하여 자동화된 프로세스를 구성할 수 있습니다. 이를 통해 파이썬 모듈, GPT-3 같은 AI 모델, Slack 봇 등 여러 기술을 하나의 워크플로우로 묶어 관리할 수 있습니다. 다만, 모든 도구와 서비스가 직접 n8n과 통합되지는 않기 때문에, API 요청, 웹훅, 커스텀 코드 실행 등의 방법을 통해 간접적으로 연결해야 할 수도 있습니다.n8n을 로컬 환경에 직접 설치하여 바로 사용해 볼 수 있습니다.0단계: Node.js 설치n8n을 실행하기 전에, 시스템에 Node.js가 설치되어 있어야 합니다.1단계: n8n 설치하기n8n은 npm을 통해 설치할 수 있습니다. 명령어 실행은 터미널이나 명령.. 2024. 4. 5.
OAuth 2.0 워크플로우 이해 및 구글 서비스 인증 토큰 OAuth 플로우는 인터넷 사용자가 하나의 서비스(예: 웹사이트나 앱)가 다른 서비스의 정보에 접근할 수 있도록 허용하는 표준화된 프로세스입니다. OAuth를 사용하면 사용자가 자신의 자격 증명(예: 아이디와 비밀번호)을 제3의 서비스에 제공하지 않고도 두 서비스 간의 안전한 데이터 공유를 허용할 수 있습니다. 이 과정에서 주로 두 가지 유형의 토큰(액세스 토큰과 리프레시 토큰)이 사용됩니다. 액세스 토큰 (Access Token) 목적: 액세스 토큰은 사용자가 서비스에 로그인한 후, 이 서비스가 다른 서비스에 접근할 수 있도록 하는 짧은 기간의 토큰입니다. 유효 기간: 일반적으로 짧은 기간(예: 몇 시간) 동안만 유효합니다. 사용 방식: 사용자가 로그인을 완료하면, 서비스는 액세스 토큰을 받고, 이 토.. 2024. 2. 18.
n8n을 활용하여 데이터를 자동으로 수집하고 시각화 구현 매일 다양한 웹페이지를 방문하면서 정보를 찾는 데 많은 시간을 소비한다고 합니다. 그리고 특히 날씨, 뉴스, 주식 포트폴리오, 이메일, 트위터, 업무 알림 등을 확인하기 위해 항상 같은 웹사이트를 반복해서 방문하는 데 시간을 낭비하고, 정보가 업데이트되었는지 계속해서 확인해야 하는 불편함을 언급합니다. 이에 따라 정보를 한 곳에서 모아서 볼 수 있는 대시보드의 필요성을 느끼게 되었습니다. n8n, 웹 서비스 쿼리, 그리고 대시보드 시스템인 Smashing을 결합하여 사용자 정의 대시보드를 만들고 정보를 모아 보려고 합니다. 특히, GitHub, Docker, npm, 그리고 Product Hunt 등에서 n8n 프로젝트에 관한 정보를 가져와 Smashing 대시보드에 표시할 예정이라고 합니다. n8n은 .. 2023. 11. 25.
728x90