deployment3 Ray Serve와 FastAPI 결합하여 웹서버 표준기능과 ML서빙 특화기능 동시활용 현대 기업에서 인공지능(AI)은 중요한 역할을 담당하고 있습니다. AI 모델을 실제 비즈니스 환경에 효과적으로 적용하는 것, 즉 MLOps(기계 학습 운영)와 프로덕션 환경에서의 모델 배포는 복잡한 과제로 남아 있습니다. AI의 중요성을 강조하면서, 동시에 MLOps와 프로덕션 배포의 어려움을 탐구합니다. Ray와 Ray Serve 소개 Ray의 역할: 데이터 전처리, 학습, 조정 등을 단일 스크립트를 통해 효율적으로 수행할 수 있는 도구입니다. Ray Serve의 기능: 실시간 데이터 파이프라인을 개발하고 배포하는 과정을 간소화하고, 기술 스택을 단순화합니다. 이는 팀 간의 협업을 원활하게 하여 생산성을 높입니다. Python 웹 서버 (FastAPI)와 특화된 ML 서빙 Python: 데이터 과학에서.. 2024. 1. 14. Kubernetes 리소스 정의하는 apply, edit, patch 다양한 해결방법 Kustomize는 Kubernetes 객체의 CLI 구성 관리자로, 레이어링을 활용하여 애플리케이션의 기본 설정을 보존합니다. 이는 원본 매니페스트를 실제로 수정하지 않고도 선언적 YAML 아티팩트를 오버레이하여 기본 설정을 덮어쓰는 방식으로 이루어집니다. Kustomize는 또한 kubectl과 통합되어 있습니다. Kustomize는 Kubernetes 리소스 및 필드를 인식하며 다른 도구들과 달리 단순한 텍스트 템플릿 솔루션이 아닙니다. Kustomize를 사용하면 하나의 기본 파일을 모든 환경 (개발, 스테이징, 프로덕션 등)에서 재사용하고 각 환경에 대한 오버레이 사양을 적용할 수 있습니다. 또한 Kustomize는 Helm 및 Argo CD와 같은 CD 솔루션과 함께 사용할 수 있습니다. Ku.. 2023. 12. 5. Distribution Registry & GitLab CI/CD 파이프라인 실행 Docker 이미지 레지스트리를 Docker 환경에서 구성하는 방법은 아래 단계를 따라 하나씩 진행하면 됩니다. 참고: 이 예제에서는 registry:2 이미지를 사용하여 Docker 레지스트리를 실행하겠습니다. Docker 이미지 레지스트리를 실행할 디렉토리를 생성합니다. 이 디렉토리는 이미지 데이터를 저장하는 데 사용됩니다. /path/to/registry/data 경로는 레지스트리 데이터를 저장할 원하는 경로로 변경해야 합니다. mkdir /path/to/registry/data 다음 명령어를 사용하여 Docker 이미지 레지스트리 컨테이너를 실행합니다. 이 컨테이너는 Docker Hub에서 registry:2 이미지를 다운로드하고 실행합니다. 포트 5000을 통해 레지스트리에 접근할 수 있게 설정.. 2023. 11. 2. 이전 1 다음
