본문 바로가기

scheduler3

윈도우 환경 다운로드 실행파일 및 스크립트 실행 위험 보안 통제 윈도우 시스템에서 다운로드 폴더에 실행 파일(.exe), 스크립트 파일(.hta, .jse, .cmd 등)이 다운로드 되어 실행될 때 발생할 수 있는 보안 위협을 방지하기 위한 몇 가지 방법이 있습니다. 이러한 파일들은 악성 코드의 전형적인 전달 수단이 될 수 있으며, 사용자의 시스템에 백도어를 설치하는 등의 악용될 가능성이 높습니다. 여기에는 Software Restriction Policies (SRP)나 AppLocker와 같은 윈도우 내장 기능을 활용하는 방법과 기타 보안 관련 조치들이 포함됩니다.Software Restriction Policies (SRP)SRP는 관리자가 시스템에서 실행할 수 있는 애플리케이션을 제어할 수 있게 해주는 기능입니다. 이는 특정 파일 유형이나 경로에서 실행되는 프.. 2024. 5. 8.
Airflow Workflow 관리 고도화 및 문제 대응 기술적인 전략과 노하우 Apache Airflow를 통한 데이터 파이프라인 관리는 고도의 기술적 이해와 운영 노하우를 요구합니다. 실제 운영 과정에서 발견되는 다양한 문제들에 대한 체계적이고 실용적인 대응 방안은 시스템의 안정성을 보장하고, 효율적인 운영을 가능하게 합니다. 아래는 Airflow 운영을 고도화하고, 주요 문제에 대응하는 방안에 대한 종합적인 유형입니다. Airflow 운영 고도화 및 문제 대응 전략 1. 리소스 관리 최적화 동적 리소스 할당: Airflow의 동적 리소스 할당 기능을 활용하여, 실행 중인 Task의 수와 유형에 따라 필요한 리소스를 동적으로 할당합니다. 이를 위해 KubernetesExecutor를 사용하면, 각 Task에 필요한 CPU와 메모리를 Task 정의 시 지정할 수 있습니다. Airf.. 2024. 4. 11.
Jupyter Scheduler 사용하여 주기적으로 실행하는 방법 Jupyter Scheduler를 사용하여 Jupyter 노트북을 주기적으로 실행하는 단계입니다. Jupyter Scheduler 설치 Jupyter Scheduler를 사용하려면 먼저 JupyterLab에 확장 프로그램으로 설치해야 합니다. 이를 위해 아래 명령을 실행하십시오.설치가 완료되면 JupyterLab을 다시 시작해야 합니다. pip install jupyter_scheduler 노트북 작업 생성 메뉴를 통한 노트북 작업 생성 JupyterLab 파일 브라우저에서 실행하려는 노트북을 마우스 오른쪽 버튼으로 클릭합니다. 나타나는 맥락 메뉴에서 "Create Notebook Job" 옵션을 선택합니다. 툴바 버튼을 통한 노트북 작업 생성 노트북을 열고 툴바에서 "Create Notebook Job.. 2023. 11. 8.