Task8 Django와 Celery 사용한 비동기 및 주기적인 작업 스케줄링 Django와 Celery를 함께 사용하면 비동기 작업 및 주기적인 작업 스케줄링이 가능합니다. Celery는 작업 큐(Task Queue) 시스템으로, 백그라운드에서 비동기적으로 실행될 수 있는 작업을 처리하는 데 매우 유용합니다. Django와 함께 Celery를 설정하고 사용하는 방법입니다.1. Celery 설치Celery와 필요한 추가 패키지를 설치합니다.pip install celerypip install django-celery-beat # 주기적인 작업을 위해2. Django 프로젝트에 Celery 설정프로젝트 루트 디렉토리에 celery.py 파일을 생성하고 다음과 같이 설정합니다.# project/celery.pyfrom __future__ import absolute_import, u.. 2024. 10. 28. Airflow Serverless 환경에서 Kubernetes 클러스터 이전 가이드 워크플로우 관리 플랫폼인 Apache Airflow를 사용하면서 서버리스 환경에서 Kubernetes(K8S)로 이전하려는 경우가 많습니다. 이전 과정을 이해할 수 있도록 설명하고, 사전에 검토해야 할 사항과 발생할 수 있는 문제들의 해결책을 정리합니다.서버리스 환경의 장점자동 확장: 트래픽이나 작업량 증가에 따라 리소스가 자동으로 확장되어 성능을 유지합니다.관리 부담 감소: 인프라 관리에 드는 시간을 줄이고 애플리케이션 개발과 개선에 집중할 수 있습니다.비용 효율성: 사용한 만큼만 비용을 지불하므로, 리소스 낭비를 최소화하고 비용 관리가 용이합니다.하지만 특정한 요구사항이나 성능 최적화를 위해서는 Kubernetes로 이전하여 더 세밀한 제어와 확장성을 확보해야 할 때가 있습니다.사전 검토 사항 및 고.. 2024. 10. 17. 시만텍 백신에 의해 격리되는 파일을 수집하여 분석하기 위한 방안 시만텍 백신 윈도우 클라이언트의 파일 격리와 관련해서 간단히 정리해 보겠습니다.1. 격리 설정 관리바이러스 및 스파이웨어 스캔 또는 행동 분석(SONAR)이 위협을 감지하면, Symantec Endpoint Protection은 의심스러운 파일을 감염된 컴퓨터의 로컬 격리소에 보관합니다. 이후 클라이언트는 파일을 복구하거나 복원하거나 삭제합니다.클라이언트가 위험을 감지하여 파일을 격리하면 관리 서버에 알립니다. 관리 서버에서는 격리된 파일을 자동으로 요청하고 검색할 수 있습니다. 관리 서버는 위험 샘플을 데이터베이스에 업로드하고 저장하며, 이벤트 세부 정보를 표시하고 추가 분석을 위해 다운로드할 수 있습니다.2. 격리된 파일을 관리 서버로 업로드기본적으로 관리 서버는 클라이언트에서 격리된 파일을 검색하지.. 2024. 7. 15. 윈도우 환경 다운로드 실행파일 및 스크립트 실행 위험 보안 통제 윈도우 시스템에서 다운로드 폴더에 실행 파일(.exe), 스크립트 파일(.hta, .jse, .cmd 등)이 다운로드 되어 실행될 때 발생할 수 있는 보안 위협을 방지하기 위한 몇 가지 방법이 있습니다. 이러한 파일들은 악성 코드의 전형적인 전달 수단이 될 수 있으며, 사용자의 시스템에 백도어를 설치하는 등의 악용될 가능성이 높습니다. 여기에는 Software Restriction Policies (SRP)나 AppLocker와 같은 윈도우 내장 기능을 활용하는 방법과 기타 보안 관련 조치들이 포함됩니다.Software Restriction Policies (SRP)SRP는 관리자가 시스템에서 실행할 수 있는 애플리케이션을 제어할 수 있게 해주는 기능입니다. 이는 특정 파일 유형이나 경로에서 실행되는 프.. 2024. 5. 8. Airflow Workflow 관리 고도화 및 문제 대응 기술적인 전략과 노하우 Apache Airflow를 통한 데이터 파이프라인 관리는 고도의 기술적 이해와 운영 노하우를 요구합니다. 실제 운영 과정에서 발견되는 다양한 문제들에 대한 체계적이고 실용적인 대응 방안은 시스템의 안정성을 보장하고, 효율적인 운영을 가능하게 합니다. 아래는 Airflow 운영을 고도화하고, 주요 문제에 대응하는 방안에 대한 종합적인 유형입니다. Airflow 운영 고도화 및 문제 대응 전략 1. 리소스 관리 최적화 동적 리소스 할당: Airflow의 동적 리소스 할당 기능을 활용하여, 실행 중인 Task의 수와 유형에 따라 필요한 리소스를 동적으로 할당합니다. 이를 위해 KubernetesExecutor를 사용하면, 각 Task에 필요한 CPU와 메모리를 Task 정의 시 지정할 수 있습니다. Airf.. 2024. 4. 11. 이전 1 2 다음 728x90
