MINIO6 MinIO 클라이언트(MC)로 스토리지 운영 자동화 및 보안 최적화 Minio Client는 S3 호환 오브젝트 스토리지 서버에 접근하고 관리하기 위한 도구입니다. 주로 데이터 저장, 관리, 그리고 분석 작업에 사용됩니다. 이를 통해 S3 호환 스토리지에 쉽게 접근하고 데이터를 업로드, 다운로드, 삭제 등의 작업을 할 수 있습니다.대표적인 활용데이터 백업 및 복구Minio Client는 대량의 데이터를 S3 호환 스토리지에 백업하고, 필요 시 이를 복구하는 데 유용합니다. 예를 들어, 서버의 로그 파일이나 데이터베이스 덤프를 정기적으로 S3 호환 스토리지에 백업합니다.데이터 아카이빙오래된 데이터를 아카이브하여 장기 보관하는 용도로 사용됩니다. 특히 규제 준수를 위해 데이터를 오랜 기간 보관해야 하는 경우 유용합니다.데이터 분석 및 처리데이터를 S3 호환 스토리지에 저장한.. 2024. 10. 9. 클라우드 환경 로그 MinIO 객체 저장소 기록 및 비정상 행위 모니터링 MinIO를 클라우드 환경에서 로그 기록 및 참조 활용을 위해 구성하고, 인증 및 접근 액세스 로그를 기록하고 수집하여 비정상 행위를 모니터링하는 방법입니다.1. MinIO 구성MinIO는 객체 저장소로서 간편하게 설치 및 운영이 가능합니다. MinIO를 설치하는 방법은 여러 가지가 있지만, 여기서는 Docker를 이용한 설치 방법을 설명합니다.docker run -p 9000:9000 --name minio \ -e "MINIO_ROOT_USER=youraccesskey" \ -e "MINIO_ROOT_PASSWORD=yoursecretkey" \ -v /mnt/data:/data \ -v /mnt/config:/root/.minio \ quay.io/minio/minio server /dat.. 2024. 10. 2. MinIO(S3) 객체 스토리지에 파일 및 로그 자동백업 구성 Minio는 AWS S3와 호환되는 객체 스토리지 서버로, S3 API와 호환되어 다양한 애플리케이션에서 쉽게 사용할 수 있습니다. 설정이나 로그 백업을 Minio 버킷에 저장하는 방법입니다.1. Minio 서버 설치 및 설정Minio 서버를 설치하고 설정해야 합니다. 여기서는 Linux 서버에 Minio를 설치하는 과정을 설명하겠습니다.1.1 Minio 서버 설치wget https://dl.min.io/server/minio/release/linux-amd64/miniochmod +x miniosudo mv minio /usr/local/bin/1.2 Minio 서버 실행export MINIO_ROOT_USER=minioadminexport MINIO_ROOT_PASSWORD=minioadmin123m.. 2024. 9. 8. 데이터 엔지니어링 엔드투엔드(End-to-End) 프로젝트 기술 스택 개요1. Apache Airflow개요: Apache Airflow는 워크플로우 자동화 및 스케줄링 도구로, 복잡한 데이터 파이프라인을 정의, 스케줄링 및 모니터링할 수 있습니다.활용 예시데이터 파이프라인을 정의하는 DAG(DAG: Directed Acyclic Graph) 생성DAG를 사용한 데이터 처리 작업 스케줄링Airflow UI를 통해 작업 상태 모니터링2. Apache Zookeeper개요: Apache Zookeeper는 분산 시스템을 위한 중앙 집중형 서비스로, 구성 정보를 관리하고, 분산 시스템의 동기화 및 그룹 서비스를 제공합니다.활용 예시Kafka 클러스터 설정 및 관리분산 시스템의 노드 상태 모니터링 및 구성 정보 저장3. Apache Kafka개요: Apache Kafk.. 2024. 7. 29. MinIO 서비스 서브URL 또는 서브도메인 프록시 설정 MinIO 서버 API 및 콘솔에 대한 두 가지 모델이 있습니다.MinIO 서비스를 위한 전용 DNS 이름을 만들거나 구성합니다.MinIO 서버 S3 API에 대한 요청은 해당 도메인의 루트로 프록시합니다.MinIO 콘솔 웹 GUI에 대한 요청은 /minio 하위 경로로 프록시합니다.예를 들어, 호스트 이름이 minio.example.net 이라면https://minio.example.net 으로 루트(/) 요청을 MinIO 서버(https://minio.local:9000)로 프록시합니다.https://minio.example.net/minio/ui 로 요청을 MinIO 콘솔(https://minio.local:9090)로 프록시합니다.다음은 고유한 환경에 대한 추가적인 사용자 정의를 위한 위치 블록 .. 2023. 12. 24. 이전 1 2 다음 728x90
