본문 바로가기
서버구축 (WEB,DB)

MinIO Distributed Mode (Cluster) 구성 및 HA 이해와 DR 전략

by 날으는물고기 2024. 6. 21.

MinIO Distributed Mode (Cluster) 구성 및 HA 이해와 DR 전략

MinIO는 분산 오브젝트 스토리지 서비스로, Kubernetes 환경에서도 널리 사용됩니다. 아래는 MinIO를 Kubernetes에 배포하기 위한 기본적인 매니페스트 파일의 예시입니다. 이 예시에서는 StatefulSet을 사용하여 MinIO 서버를 배포하고, 각 인스턴스에 대해 지속적인 스토리지를 제공하는 PersistentVolumeClaim을 설정합니다.

apiVersion: v1
kind: Service
metadata:
  name: minio-service
  labels:
    app: minio
spec:
  ports:
    - port: 9000
      targetPort: 9000
  selector:
    app: minio
  type: ClusterIP

---

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: minio
spec:
  serviceName: "minio"
  replicas: 4
  selector:
    matchLabels:
      app: minio
  template:
    metadata:
      labels:
        app: minio
    spec:
      containers:
      - name: minio
        image: minio/minio
        args:
        - server
        - /data
        ports:
        - containerPort: 9000
        env:
        - name: MINIO_ACCESS_KEY
          value: "youraccesskey"
        - name: MINIO_SECRET_KEY
          value: "yoursecretkey"
        volumeMounts:
        - name: data
          mountPath: /data
  volumeClaimTemplates:
  - metadata:
      name: data
    spec:
      accessModes: [ "ReadWriteOnce" ]
      storageClassName: "standard"
      resources:
        requests:
          storage: 10Gi

이 매니페스트는 다음을 포함합니다.

  1. Service: MinIO 인스턴스에 접근할 수 있는 Kubernetes 서비스를 정의합니다. 이 서비스는 내부적으로 9000 포트를 사용합니다.
  2. StatefulSet: MinIO 인스턴스를 관리하기 위한 StatefulSet을 생성합니다. 여기서는 4개의 레플리카를 사용하며, 각 노드는 minio/minio 이미지를 사용하여 생성됩니다.
  3. PersistentVolumeClaim: 각 MinIO 인스턴스는 데이터 저장을 위해 Persistent Volume을 요청합니다. 이 예에서는 각 볼륨이 최소 10Gi의 스토리지를 요구합니다.

환경변수 설정: MINIO_ACCESS_KEY와 MINIO_SECRET_KEY는 MinIO 인스턴스의 접근 키와 비밀 키를 설정하는 환경 변수입니다. 보안을 위해 실제 배포시에는 더 안전한 방법(예: Kubernetes Secret)을 사용하여 이 값을 설정하는 것이 좋습니다.

 

이 매니페스트 파일을 사용하기 전에 필요에 맞게 수정하여 사용해야 합니다. 예를 들어, 스토리지 클래스 이름이나 볼륨 크기, 레플리카의 수 등을 실제 환경에 맞게 조정해야 할 수 있습니다.

 

Kubernetes에서는 Secret 리소스를 사용하여 민감한 데이터를 안전하게 저장하고 관리할 수 있습니다. 이는 특히 비밀번호, OAuth 토큰, ssh 키 등과 같은 민감한 정보를 포드에 전달할 때 유용합니다.

MINIO_ACCESS_KEY와 MINIO_SECRET_KEY 생성

MinIO 액세스 키와 시크릿 키는 일반적으로 안전한 랜덤 문자열을 사용하여 생성합니다.

  • MINIO_ACCESS_KEY: 액세스 키로 사용할 수 있는 최소 20자 이상의 랜덤 문자열입니다.
  • MINIO_SECRET_KEY: 시크릿 키로 사용할 수 있는 최소 40자 이상의 랜덤 문자열입니다.

리눅스 환경에서는 openssl 명령어를 사용하여 이러한 키를 생성할 수 있습니다.

export MINIO_ACCESS_KEY=$(openssl rand -base64 24)
export MINIO_SECRET_KEY=$(openssl rand -base64 48)

Kubernetes Secret으로 등록

생성한 키를 Kubernetes Secret에 저장하는 예시 YAML 파일은 다음과 같습니다.

apiVersion: v1
kind: Secret
metadata:
  name: minio-secret
type: Opaque
data:
  accesskey: $(echo -n $MINIO_ACCESS_KEY | base64)
  secretkey: $(echo -n $MINIO_SECRET_KEY | base64)

여기서 accesskey와 secretkey는 Base64로 인코딩된 키 값입니다. 이 값을 쉘 스크립트로 직접 인코딩하고 싶다면 다음 명령을 사용할 수 있습니다.

echo -n "youractualaccesskey" | base64
echo -n "youractualsecretkey" | base64

위의 YAML 파일을 저장하고, 적절한 kubectl 명령을 사용하여 Kubernetes 클러스터에 Secret을 생성합니다.

kubectl apply -f secret.yaml

MinIO StatefulSet에 Secret 적용

MinIO의 StatefulSet 정의에 이 Secret을 사용하여 환경 변수를 설정하는 방법은 다음과 같습니다.

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: minio
spec:
  serviceName: "minio"
  replicas: 4
  selector:
    matchLabels:
      app: minio
  template:
    metadata:
      labels:
        app: minio
    spec:
      containers:
      - name: minio
        image: minio/minio
        args:
        - server
        - /data
        ports:
        - containerPort: 9000
        env:
        - name: MINIO_ACCESS_KEY
          valueFrom:
            secretKeyRef:
              name: minio-secret
              key: accesskey
        - name: MINIO_SECRET_KEY
          valueFrom:
            secretKeyRef:
              name: minio-secret
              key: secretkey
        volumeMounts:
        - name: data
          mountPath: /data
  volumeClaimTemplates:
  - metadata:
      name: data
    spec:
      accessModes: [ "ReadWriteOnce" ]
      storageClassName: "standard"
      resources:
        requests:
          storage: 10Gi

이렇게 하면 MinIO 인스턴스가 자동으로 Secret에서 필요한 키를 추출하여 사용할 수 있게 됩니다.

 

Kubernetes에서 hostPath 볼륨은 노드의 파일 시스템의 특정 파일이나 디렉토리를 파드에 마운트할 때 사용합니다. MinIO를 배포할 때 hostPath를 사용하여 각 노드의 /home/minio 디렉토리를 파드에 마운트하도록 설정하겠습니다.

아래는 MinIO의 StatefulSet 정의를 수정한 예시입니다. 각 노드의 /home/minio 디렉토리가 파드의 /data 위치에 마운트되도록 설정하였습니다.

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: minio
spec:
  serviceName: "minio"
  replicas: 4
  selector:
    matchLabels:
      app: minio
  template:
    metadata:
      labels:
        app: minio
    spec:
      containers:
      - name: minio
        image: minio/minio
        args:
        - server
        - /data
        ports:
        - containerPort: 9000
        env:
        - name: MINIO_ACCESS_KEY
          valueFrom:
            secretKeyRef:
              name: minio-secret
              key: accesskey
        - name: MINIO_SECRET_KEY
          valueFrom:
            secretKeyRef:
              name: minio-secret
              key: secretkey
        volumeMounts:
        - name: host-data
          mountPath: /data
      volumes:
      - name: host-data
        hostPath:
          path: /home/minio
          type: DirectoryOrCreate
  • hostPath 볼륨을 사용하면 각 노드에 직접 접근하게 되므로, 이를 사용하는 것은 보안과 데이터 격리 측면에서 주의가 필요합니다.
  • type: DirectoryOrCreate 옵션은 지정된 경로에 디렉토리가 존재하지 않을 경우 새로운 디렉토리를 생성합니다.
  • MinIO 인스턴스가 여러 노드에 걸쳐 배포되는 경우, 각 인스턴스는 자신이 배포된 노드의 /home/minio 디렉토리를 사용하게 됩니다.

위의 설정을 사용하면, MinIO의 각 인스턴스가 각각의 노드에 있는 /home/minio 디렉토리를 데이터 저장소로 사용하게 됩니다. 이 방법은 로컬 스토리지를 사용하여 간단한 테스트 또는 개발 환경에서 MinIO를 구성할 때 유용합니다.

 

volumeClaimTemplates를 사용하는 경우에는, 각 인스턴스에 대한 독립적인 스토리지 볼륨을 자동으로 생성하고 관리하도록 Kubernetes에 지시합니다. 이는 주로 StatefulSet에서 동적 프로비저닝을 활용할 때 사용됩니다. 하지만 hostPath를 volumeClaimTemplates와 직접적으로 사용하는 것은 지원되지 않습니다. hostPath는 단순한 볼륨 타입이며, PVC를 통해 동적으로 프로비저닝되는 리소스가 아니기 때문입니다.

 

그러나 Kubernetes에서는 각 파드가 동일한 물리적 위치에 데이터를 저장할 수 있도록 hostPath를 사용할 수 있도록 설정할 수 있습니다만, 이것이 volumeClaimTemplates와 결합되어 사용될 수 없다는 점을 인식하는 것이 중요합니다. volumeClaimTemplates는 PVC를 사용하여 각 파드 별로 독립적인 스토리지 볼륨을 생성하려고 할 때 사용됩니다.

대안적 접근 방법

만약 여러 노드에 걸쳐 데이터를 일관되게 유지하기를 원한다면, 다음과 같은 대안을 고려할 수 있습니다.

  1. 네트워크 파일 시스템 사용: NFS (Network File System) 또는 다른 공유 파일 시스템을 사용하여 여러 노드가 동일한 스토리지에 액세스하도록 구성할 수 있습니다. 이 경우, PersistentVolume과 PersistentVolumeClaim을 설정하여 NFS 서버에 연결할 수 있습니다.
  2. 외부 스토리지 클래스 사용: 예를 들어, 클라우드 환경에서 제공하는 스토리지 솔루션(예: AWS의 EBS, Google Cloud의 Persistent Disk 등)을 사용하여, 각 파드에 독립적인 스토리지 볼륨을 제공하면서도 일관된 데이터 관리를 할 수 있습니다.

다음은 NFS를 사용하는 예시입니다.

apiVersion: v1
kind: PersistentVolume
metadata:
  name: nfs-pv
spec:
  capacity:
    storage: 100Gi
  accessModes:
    - ReadWriteMany
  nfs:
    path: /usr/local/nfs
    server: nfs-server.your-domain.com

---

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: nfs-pvc
spec:
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 100Gi
  volumeName: nfs-pv

이 설정은 MinIO 또는 기타 애플리케이션에서 네트워크를 통한 데이터 접근을 가능하게 하여 여러 노드가 동일한 데이터 세트를 공유할 수 있도록 합니다.

 

Kubernetes에서 hostPath 볼륨을 사용할 때 용량 제한을 직접 설정하는 기능은 지원되지 않습니다. hostPath 볼륨은 단순히 클러스터 노드의 특정 디렉토리에 대한 파드의 접근을 허용하는 것이므로, 이 디렉토리의 사용 가능한 공간은 호스트 머신의 디스크 용량에 의존합니다.

용량 제한을 설정하는 방법들

  1. 노드 레벨에서 디스크 쿼터 설정: 노드(물리 서버 또는 가상 머신)에서 파일 시스템 레벨에서 디스크 쿼터를 설정하여 특정 사용자나 그룹의 사용 가능한 최대 저장 공간을 제한할 수 있습니다. 이 방법은 운영 체제와 파일 시스템에 따라 설정 방법이 다릅니다.
  2. PersistentVolumes 및 StorageClasses 사용: 더 정교한 스토리지 관리를 원할 경우, Kubernetes의 PersistentVolume (PV) 및 PersistentVolumeClaim (PVC) 리소스를 사용하고, 이들을 관리하는 StorageClass 리소스를 사용할 수 있습니다. StorageClass는 다양한 스토리지 프로비전러를 사용하여 자동으로 PV를 생성하고, 이 PV들은 명시적인 용량 제한을 가질 수 있습니다.
  3. 네트워크 파일 시스템 사용: 네트워크를 통해 연결되는 파일 시스템을 사용하여 스토리지를 제공하면, 이 파일 시스템의 관리 도구를 통해 용량 제한을 설정할 수 있습니다(예: NFS 서버 설정).

StorageClass를 사용한 동적 프로비저닝

다음은 StorageClass를 사용하여 동적으로 프로비저닝되는 PersistentVolumeClaim의 예시입니다. 여기서는 스토리지 용량 제한을 명시적으로 설정할 수 있습니다.

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: standard
provisioner: kubernetes.io/aws-ebs
parameters:
  type: gp2

---

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: minio-pvc
spec:
  accessModes:
    - ReadWriteOnce
  storageClassName: standard
  resources:
    requests:
      storage: 50Gi

이 예시에서는 AWS의 gp2 타입의 EBS 볼륨을 사용하여 PVC를 자동으로 생성하며, 50Gi의 스토리지를 요청합니다. 이 방법은 MinIO 또는 다른 스토리지를 필요로 하는 어떤 애플리케이션에도 적용할 수 있으며, 스토리지 클래스와 프로비저너는 사용자의 클라우드 또는 인프라에 맞게 조정될 수 있습니다.

 

Kubernetes에서 스토리지를 관리하는 두 가지 주요 방법, 즉 Persistent Volume Claims (PVCs)을 통해 동적으로 스토리지를 프로비저닝하는 방법과, hostPath와 같은 방법으로 파드에 직접적으로 스토리지를 할당하는 방법 간에는 몇 가지 중요한 차이점이 있습니다.

1. Persistent Volume Claims (PVC)을 사용하는 방법

동적 프로비저닝

  • 관리의 추상화: PVC를 사용하면 스토리지 리소스의 관리가 추상화되어, 사용자는 스토리지의 실제 구현 세부 사항을 걱정할 필요 없이 필요한 스토리지 양을 요청할 수 있습니다.
  • 동적 프로비저닝: 사용자는 필요한 스토리지 용량과 액세스 모드를 요청하고, 클러스터의 스토리지 클래스 설정에 따라 적절한 스토리지 자원이 자동으로 할당됩니다.
  • 확장성과 유연성: PVC는 다양한 백엔드 스토리지(로컬 디스크, 클라우드 기반 볼륨, 네트워크 스토리지 등)와 연결될 수 있어, 확장성과 유연성이 뛰어납니다.
  • 데이터 보호: 데이터 복구 및 백업과 같은 운영을 지원하는 스토리지 솔루션을 선택할 수 있습니다.

단점

  • 구성의 복잡성이 증가할 수 있으며, 스토리지 클래스와 프로비저너 설정에 따라 다릅니다.
  • 일부 고급 기능을 사용하기 위해서는 추가 구성이 필요할 수 있습니다.

2. hostPath를 사용하여 직접 스토리지 할당하는 방법

직접 할당

  • 간단한 설정: 특히 단일 노드 또는 테스트 환경에서 간단하고 빠르게 스토리지를 설정할 수 있습니다.
  • 노드의 특정 위치 사용: 특정 노드의 파일 시스템 내부의 경로를 파드에 직접 마운트하여 사용할 수 있습니다.

단점

  • 데이터 지속성과 격리의 부족: hostPath는 파드가 재스케줄링될 때 또는 다른 노드로 이동할 때 데이터 지속성을 보장하지 않습니다.
  • 보안과 안정성 문제: hostPath는 파드가 호스트 머신의 시스템 파일에 접근할 수 있게 하므로 보안 문제를 일으킬 수 있습니다.
  • 스케일링과 관리의 제한: 모든 노드에 동일한 경로가 존재해야 하며, 자동 확장이나 관리가 어렵습니다.

따라서, 프로덕션 환경에서는 일반적으로 PVC를 통한 동적 프로비저닝 방식이 권장됩니다. 이는 스토리지 관리를 표준화하고, 더 나은 보안, 유연성 및 확장성을 제공하기 때문입니다. 반면, 개발 또는 테스트 환경에서는 간단한 설정이 필요할 때 hostPath를 사용할 수 있습니다.

 

Kubernetes에서 StatefulSet을 사용하여 볼륨을 관리할 때 각 파드가 독립적인 스토리지 볼륨을 가지는 것은 일반적인 동작입니다. volumeClaimTemplates를 사용하는 StatefulSet 설정은 각 파드에 고유한 PersistentVolumeClaim (PVC)을 생성하게 되므로, 각 인스턴스는 자신만의 고유한 볼륨을 사용하게 됩니다.

 

아래의 예시처럼 구성할 경우

volumeMounts:
- name: minio
  mountPath: /data
volumes:
- name: minio
  persistentVolumeClaim:
    claimName: minio

이 설정에서 claimName: minio가 지정된 경우, 모든 파드가 동일한 PVC를 참조하려고 시도할 수 있지만, 일반적으로 PVC는 ReadWriteOnce 액세스 모드로 생성되어 한 번에 한 노드에서만 마운트될 수 있습니다. 따라서, 위 설정은 StatefulSet에서는 의도한 대로 작동하지 않을 수 있습니다. 각 파드가 독립적으로 스토리지를 사용하도록 하려면 volumeClaimTemplates을 사용해야 합니다.

StatefulSet에서의 올바른 사용법

StatefulSet을 사용하여 각 파드가 자신의 스토리지를 갖도록 설정하려면 volumeClaimTemplates 섹션을 다음과 같이 포함시켜야 합니다.

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: minio
spec:
  serviceName: "minio"
  replicas: 2
  selector:
    matchLabels:
      app: minio
  template:
    metadata:
      labels:
        app: minio
    spec:
      containers:
      - name: minio
        image: minio/minio
        args:
        - server
        - /data
        ports:
        - containerPort: 9000
        volumeMounts:
        - name: data
          mountPath: /data
  volumeClaimTemplates:
  - metadata:
      name: data
    spec:
      accessModes: [ "ReadWriteOnce" ]
      storageClassName: "standard"
      resources:
        requests:
          storage: 10Gi

이 구성에서 volumeClaimTemplates는 각 파드(minio-0, minio-1 등)에 대해 고유한 PVC를 생성합니다. 따라서 각 파드는 자신만의 스토리지를 독립적으로 사용하게 됩니다.

공유 스토리지 사용

만약 모든 파드가 데이터를 공유해야 하는 경우 (예: 읽기 전용 데이터), ReadWriteMany를 지원하는 스토리지 솔루션(NFS, CephFS 등)을 사용하여 PVC를 구성해야 합니다. 그러나 이 경우에도 각 파드가 동일한 PVC를 마운트하려면 volumes 섹션에서 모든 파드가 같은 PVC를 참조하도록 명시적으로 구성해야 합니다. 이는 일반적으로 StatefulSet에서는 권장되지 않는 패턴입니다.

 

같은 데이터를 여러 파드가 공유해야 하는 상황에서는 몇 가지 접근 방법이 있습니다. 각 방법은 사용 환경과 요구 사항에 따라 달라질 수 있습니다.

1. Replicas를 1로 설정

  • 단일 파드 사용: 가장 간단한 방법은 replicas를 1로 설정하여 단 하나의 파드만 운영하는 것입니다. 이 방법은 스토리지 관리가 간단하지만, 고가용성을 보장하지 못하는 큰 단점이 있습니다.

2. ReadWriteMany 스토리지 사용

  • 공유 가능한 스토리지: 여러 파드가 동시에 읽고 쓸 수 있는 ReadWriteMany 액세스 모드를 지원하는 스토리지 솔루션을 사용합니다. 예를 들어, NFS, CephFS, GlusterFS와 같은 파일 시스템이 이에 해당합니다. 이 방법은 모든 파드가 데이터를 공유할 수 있어, 동시에 여러 인스턴스를 운영하면서도 데이터 일관성을 유지할 수 있습니다.

3. 동기화 메커니즘 구현

  • 애플리케이션 수준에서의 동기화: 어떤 경우에는 애플리케이션 또는 미들웨어를 사용하여 데이터를 동기화하는 방법을 선택할 수 있습니다. 예를 들어, 데이터베이스 레플리케이션, 분산 파일 시스템, 또는 애플리케이션 로직을 통해 데이터 일관성을 유지합니다.

4. StatefulSet의 각 파드에 대한 독립적 데이터 복제

  • 복제본을 사용하여 데이터 독립성 유지: MinIO와 같은 분산 스토리지 시스템을 사용하는 경우, 각 인스턴스가 독립적인 데이터 복제본을 유지하면서도 전체적으로는 일관된 데이터 뷰를 제공하도록 구성할 수 있습니다. 이 경우, 데이터는 자동으로 동기화되며, 하나의 파드에 장애가 발생해도 전체 시스템은 영향을 받지 않습니다.

 

고가용성을 중요하게 여긴다면, 단일 파드를 사용하는 것은 바람직하지 않습니다. 대신, ReadWriteMany 액세스 모드를 지원하는 스토리지를 사용하거나, 데이터 동기화를 위한 별도의 메커니즘을 구현하는 것이 좋습니다. 각 방법의 선택은 구체적인 요구 사항과 기술 스택, 그리고 운영 환경에 따라 달라질 수 있습니다.

 

replicas를 1로 설정하여 단일 인스턴스만 필요로 하는 경우, StatefulSet을 사용할 필요는 없습니다. StatefulSet은 특히 스테이트풀 애플리케이션을 여러 복제본(replicas)과 함께 관리할 때 유용하며, 다음과 같은 특징 때문에 사용됩니다.

  1. 고유한 네트워크 식별자: 각 복제본은 고유한 순차적 식별자를 가지며, 이는 네트워킹이나 저장소 구성에서 일관된 접근을 제공합니다.
  2. 순서 보장과 그레이스풀 업데이트: 복제본이 업데이트되거나 스케일링 될 때, 순차적으로 처리되어 데이터 일관성과 안정성을 유지합니다.
  3. 영속적인 저장소 관리: volumeClaimTemplates을 통해 각 인스턴스에 고유한 영속 볼륨을 자동으로 할당하고 관리할 수 있습니다.

단일 인스턴스 운영 시 고려 사항

단일 인스턴스의 경우, StatefulSet의 이러한 이점들이 필요하지 않으며, Deployment 또는 Pod 리소스를 사용하는 것이 더 적절할 수 있습니다. 다음과 같은 상황에서 이들을 고려해볼 수 있습니다.

  • Deployment 사용: 단일 인스턴스지만 미래에 확장 가능성을 열어두고 싶다면, Deployment가 적합할 수 있습니다. Deployment는 스테이트리스(stateless) 애플리케이션에 주로 사용되지만, 필요에 따라 단일 복제본으로 구성할 수 있으며, 오토스케일링 및 롤링 업데이트 등의 기능을 사용할 수 있습니다.
  • 단일 Pod 사용: 매우 간단한 설정이 필요하고, Kubernetes의 추가 기능들이 필요하지 않은 경우, 단일 Pod 리소스를 직접 사용할 수도 있습니다. 이 경우, 관리와 구성이 더 간단하지만, 파드가 다운되었을 때 자동으로 복구되지 않는다는 단점이 있습니다.

단일 인스턴스를 Deployment로 구성하는 예시는 다음과 같습니다.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: minio-deployment
spec:
  replicas: 1
  selector:
    matchLabels:
      app: minio
  template:
    metadata:
      labels:
        app: minio
    spec:
      containers:
      - name: minio
        image: minio/minio
        args:
        - server
        - /data
        ports:
        - containerPort: 9000
        volumeMounts:
        - name: data
          mountPath: /data
      volumes:
      - name: data
        persistentVolumeClaim:
          claimName: minio-pvc

이 설정은 단일 인스턴스의 MinIO 서버를 구성하고, 필요에 따라 쉽게 확장할 수 있게 합니다. 자동 복구, 롤링 업데이트 등 Kubernetes의 기본 기능을 활용할 수 있는 장점이 있습니다.

 

MinIO 인스턴스는 기본적으로 API와 웹 UI 모두 포트 9000을 통해 접근할 수 있습니다. 하지만, 구성에 따라 다른 포트를 사용하여 서비스를 제공할 수 있으며, Kubernetes 서비스를 사용하여 MinIO 인스턴스의 여러 포트를 외부에 노출할 수 있습니다.

 

만약 MinIO가 두 개의 다른 포트를 사용하여 서비스를 제공하고 이를 모두 Kubernetes 서비스로 노출하고 싶다면, 각 포트에 대해 Service 리소스를 설정하면 됩니다. 아래 예시는 MinIO가 9000 포트와 가정의 다른 포트 9001을 사용한다고 할 때, 이 두 포트를 모두 포함하는 서비스 구성 방법을 보여줍니다.

apiVersion: v1
kind: Service
metadata:
  name: minio-service
spec:
  type: ClusterIP
  ports:
    - name: api
      port: 9000
      targetPort: 9000
    - name: web-ui
      port: 9001
      targetPort: 9001
  selector:
    app: minio

이 예시에서는 다음과 같은 설정을 사용합니다.

  • api: 9000 포트는 MinIO API 서비스용입니다.
  • web-ui: 9001 포트는 MinIO 웹 UI 서비스용입니다. 실제 MinIO 설정에 따라 이 포트는 웹 UI를 위한 다른 설정이 필요할 수 있습니다.

 

MinIO가 실제로 두 개의 포트를 사용하도록 설정된 경우, Deployment 또는 StatefulSet의 파드 스펙에도 이 포트들을 정의해야 합니다. 예를 들어, 다음과 같이 Deployment에 포트를 설정할 수 있습니다.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: minio-deployment
spec:
  replicas: 1
  selector:
    matchLabels:
      app: minio
  template:
    metadata:
      labels:
        app: minio
    spec:
      containers:
      - name: minio
        image: minio/minio
        args:
        - server
        - /data
        ports:
        - containerPort: 9000
        - containerPort: 9001

이 설정에서는 MinIO 컨테이너가 9000번 포트와 9001번 포트 모두를 사용하도록 설정하였습니다. 실제로 MinIO가 다른 포트를 사용하도록 구성되어 있다면, 해당 포트 번호로 변경해야 합니다.

 

기본적으로 MinIO는 단일 포트(9000)에서 API와 웹 UI를 모두 제공합니다. 만약 다른 포트에서 추가적인 서비스를 제공하려면, MinIO 설정을 조정하거나 리버스 프록시를 사용해 트래픽을 해당 포트로 리다이렉트하는 추가적인 구성이 필요할 수 있습니다. MinIO 설정이나 사용 환경에 따라 추가 구성 방법이 다를 수 있으므로, 해당 부분을 꼼꼼히 확인해야 합니다.

 

MinIO 인스턴스에서 웹 UI 포트가 자동으로 할당되는 것을 방지하고, 웹 UI를 명시적으로 포트 9001에서 실행하도록 설정하려면 MinIO 실행 명령어 또는 설정에 몇 가지 변경이 필요합니다. MinIO 자체는 기본적으로 모든 서비스를 하나의 포트(기본적으로 9000)에서 제공합니다. 하지만 MinIO 서버를 별도의 포트에서 실행하려면, 추가적인 설정이나 리버스 프록시를 사용해야 할 수 있습니다.

MinIO 설정 변경

MinIO는 기본적으로 단일 포트를 사용합니다. 웹 UI 포트를 다르게 설정하기 위해 직접적으로 MinIO 설정을 변경하는 것은 지원되지 않습니다. 따라서, 네트워크 설정을 조정하거나 리버스 프록시를 사용하여 웹 UI 트래픽을 다른 포트로 리디렉션하는 방법을 사용해야 합니다.

리버스 프록시 사용

웹 UI 포트를 9001로 설정하려면 Nginx 또는 Apache와 같은 리버스 프록시를 설정하여 포트 9000의 트래픽을 포트 9001로 리디렉션할 수 있습니다. 아래는 Nginx를 사용하여 이를 설정하는 기본 예시입니다.

server {
    listen 9001;
    server_name your-minio-domain.com;

    location / {
        proxy_set_header   X-Real-IP $remote_addr;
        proxy_set_header   Host      $http_host;
        proxy_pass         http://localhost:9000;
    }
}

이 설정은 모든 9001 포트로 들어오는 요청을 9000 포트로 리디렉션합니다. 이 방법을 사용하면 MinIO 서버는 변경하지 않고도 외부에서 9001 포트를 통해 웹 UI에 접근할 수 있습니다.

Kubernetes 서비스 설정

Kubernetes 환경에서 위와 같은 리버스 프록시 설정을 구현하려면, 해당 리버스 프록시 서버를 별도의 컨테이너로 배포하고, 아래와 같이 서비스를 설정할 수 있습니다.

apiVersion: v1
kind: Service
metadata:
  name: minio-web-ui
spec:
  type: NodePort
  ports:
    - port: 9001
      targetPort: 9001
      nodePort: 31549
  selector:
    app: minio-web-ui

여기서 minio-web-ui는 리버스 프록시 컨테이너에 지정한 라벨입니다. nodePort는 선택적이며, 클러스터 외부에서 접근할 수 있는 포트를 지정합니다.

 

MinIO의 웹 UI 포트를 별도로 설정하는 기능은 직접적으로 제공되지 않으므로, 추가적인 네트워크 구성이나 리버스 프록시를 통해 요구 사항을 충족할 수 있습니다. 이는 보안, 접근성 및 관리를 개선하는 데 도움이 될 수 있습니다.

 

MinIO는 기본적으로 모든 트래픽(데이터 API와 웹 UI 모두)을 하나의 포트(기본적으로는 9000)에서 처리합니다. MinIO가 웹 UI를 별도의 포트에서 실행하도록 직접 설정하는 것은 MinIO의 표준 기능 범위를 벗어납니다. 하지만, 컨테이너 또는 포드 수준에서 추가 포트를 열고, 그 포트로 트래픽을 리디렉션하는 것은 가능합니다.

 

MinIO에서 9000번 포트로 접근했을 때 임의의 웹 포트로 리디렉션되는 문제가 발생한다면, 이는 MinIO 설정이나 네트워크 환경에 특정 구성이 있을 수 있습니다. MinIO는 기본적으로 하나의 포트를 사용하여 API와 웹 UI를 모두 제공하며, 통상적으로는 리디렉션 없이 해당 포트에서 모든 트래픽을 처리합니다.

문제 분석과 해결 방법

  1. 환경 확인: MinIO가 실행되고 있는 환경을 확인하세요. MinIO가 도커 컨테이너, 쿠버네티스, 또는 VM/물리 서버에서 동작하는지 확인합니다. 각 환경에 따라 네트워크 구성이 달라질 수 있습니다.
  2. 리버스 프록시 확인: MinIO 앞단에 Nginx, Apache, 또는 다른 리버스 프록시가 구성되어 있는지 확인하세요. 이러한 리버스 프록시 설정에서 임의의 포트로 리디렉션하는 규칙이 설정되어 있을 수 있습니다.
  3. 로그 분석: MinIO 서버 및 네트워크 리버스 프록시(있는 경우)의 로그를 분석하여 리디렉션과 관련된 정보를 찾아보세요.
  4. 리디렉션 규칙 검토: 사용 중인 리버스 프록시의 설정 파일을 검토하여 임의의 포트로 리디렉션을 유발할 수 있는 설정이 있는지 확인합니다.
  5. MinIO 실행 명령 검토: MinIO의 실행 명령이나 구성 파일을 검토하여 추가적인 옵션이나 환경 변수가 설정되어 있는지 확인합니다.

MinIO와 리버스 프록시를 쿠버네티스 환경에서 사용하는 경우, 서비스와 인그레스 구성을 검토하고 필요한 경우 수정할 수 있습니다. 다음은 쿠버네티스에서 MinIO 서비스를 설정하는 예입니다.

apiVersion: v1
kind: Service
metadata:
  name: minio-service
spec:
  ports:
    - port: 9000
      targetPort: 9000
  selector:
    app: minio
  type: ClusterIP

인그레스 설정에서 리디렉션 문제가 발생하고 있다면, 해당 인그레스 규칙을 다시 검토해야 합니다.

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: minio-ingress
spec:
  rules:
    - http:
        paths:
          - path: /minio
            pathType: Prefix
            backend:
              service:
                name: minio-service
                port:
                  number: 9000

리버스 프록시를 사용하는 경우, 리버스 프록시 설정에서 리디렉션 조건을 수정하거나 제거해야 할 수 있습니다.

 

MinIO 서버의 베이스 URL을 /minio/로 설정하고자 한다면, MinIO 자체에는 이러한 경로를 직접 설정하는 옵션이 없습니다. 대신, Kubernetes 환경에서는 Ingress 컨트롤러와 함께 Nginx 또는 다른 리버스 프록시를 사용하여 URL 경로를 재구성하는 방법을 사용할 수 있습니다.

 

여기서는 MinIO 서비스 앞에 Nginx 리버스 프록시를 설정하고, 이를 통해 요청을 /minio/ 경로로 리다이렉션하는 방법을 설명합니다. 먼저, MinIO의 Kubernetes 서비스 및 Deployment를 구성하고, 이후에 Ingress를 설정하여 URL 경로를 조정합니다.

1. MinIO Deployment

apiVersion: apps/v1
kind: Deployment
metadata:
  name: minio
spec:
  replicas: 1
  selector:
    matchLabels:
      app: minio
  template:
    metadata:
      labels:
        app: minio
    spec:
      containers:
      - name: minio
        image: minio/minio
        args:
        - server
        - /data
        env:
        - name: MINIO_ROOT_USER
          value: "your-root-user"
        - name: MINIO_ROOT_PASSWORD
          value: "your-root-password"
        ports:
        - containerPort: 9000

2. MinIO Service

apiVersion: v1
kind: Service
metadata:
  name: minio-service
spec:
  ports:
    - port: 9000
      targetPort: 9000
  selector:
    app: minio
  type: ClusterIP

3. Ingress Configuration

Ingress를 사용하여 /minio/ 경로를 MinIO 서비스로 리다이렉션합니다. 다음은 Nginx Ingress 컨트롤러를 사용하는 예시입니다.

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: minio-ingress
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /$2
spec:
  rules:
  - http:
      paths:
      - path: /minio(/|$)(.*)
        pathType: Prefix
        backend:
          service:
            name: minio-service
            port:
              number: 9000

이 설정에서, rewrite-target 어노테이션을 사용하여 들어오는 요청의 경로를 /minio/에서 /로 변환합니다. 이렇게 하면 클라이언트는 /minio/ 경로를 사용하여 MinIO에 접근할 수 있으며, 내부적으로는 / 경로로 요청이 전달됩니다.

  • 이 설정은 Nginx Ingress 컨트롤러가 설치되어 있고, 적절히 구성되어 있는 Kubernetes 클러스터에서만 작동합니다.
  • MINIO_ROOT_USER와 MINIO_ROOT_PASSWORD 환경 변수는 예시로 제공되었으며, 실제 사용 시에는 안전한 값을 사용해야 합니다.

 

위 설정을 통해 MinIO 서버의 베이스 URL을 /minio/로 설정할 수 있으며, 이는 사용자가 웹 브라우저를 통해 MinIO에 접근할 때 유용합니다.

 

nginx.ingress.kubernetes.io/use-regex 어노테이션은 Nginx Ingress 리소스에서 정규 표현식을 사용할지 여부를 설정하는 옵션입니다. 이 어노테이션을 true로 설정하면 Ingress 경로(path)에서 정규 표현식을 사용할 수 있게 됩니다. 이는 경로 매칭 규칙을 보다 유연하게 정의할 수 있게 해줍니다.

nginx.ingress.kubernetes.io/use-regex의 역할

이 어노테이션을 사용하지 않으면, Nginx Ingress 컨트롤러는 기본적으로 간단한 경로 매칭을 사용하여 요청을 서비스에 전달합니다. 그러나 복잡한 URL 구조나 특정 요구 사항을 충족시키기 위해 정규 표현식을 사용해야 하는 경우가 있습니다. 예를 들어, 여러 하위 경로나 매개변수를 포함하는 요청을 처리해야 할 때 유용합니다.

정규 표현식을 사용한 Ingress 구성

다음은 정규 표현식을 사용하여 Ingress 경로를 설정하는 예시입니다. 이 예제에서는 /minio/로 시작하는 모든 요청을 MinIO 서비스로 리다이렉션합니다.

apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  name: minio-ingress
  annotations:
    nginx.ingress.kubernetes.io/rewrite-target: /$2
    nginx.ingress.kubernetes.io/use-regex: "true"
spec:
  rules:
  - http:
      paths:
      - path: /minio(/|$)(.*)
        pathType: Prefix
        backend:
          service:
            name: minio-service
            port:
              number: 9000
  • nginx.ingress.kubernetes.io/use-regex: "true"는 정규 표현식을 사용할 것임을 나타냅니다.
  • path: /minio(/|$)(.*)는 /minio로 시작하는 모든 요청을 매치합니다. 이 정규 표현식은 /minio 뒤에 어떤 문자가 오든지 간에 매치되도록 합니다.
  • nginx.ingress.kubernetes.io/rewrite-target: /$2는 매치된 두 번째 그룹(.*?)을 기반으로 요청 URL을 재작성합니다. 여기서 $2는 정규 표현식의 두 번째 캡처 그룹을 참조합니다.

 

nginx.ingress.kubernetes.io/use-regex 어노테이션은 복잡한 URL 패턴을 처리해야 할 때 매우 유용하며, Ingress 리소스의 경로 매칭을 보다 세밀하게 제어할 수 있게 해줍니다. 이 옵션을 사용하면, 특정 URL 패턴에 대한 요청을 보다 정확하게 처리할 수 있으며, 다양한 서비스와 애플리케이션에 대한 라우팅 요구 사항을 효과적으로 관리할 수 있습니다.

 

n8n에서 MinIO를 연동하는 방법은 기본적으로 Amazon S3 호환성을 이용합니다. MinIO는 S3 호환 오브젝트 스토리지 서비스이므로, n8n에서는 S3 크리덴셜을 사용하여 MinIO 서버와 통신할 수 있습니다.

  1. n8n 실행: n8n을 실행합니다. 로컬에서 실행 중이거나, 서버에 설치한 경우 해당 환경에 맞게 접속합니다.
  2. 크리덴셜 생성
    • n8n의 UI에서 왼쪽 메뉴의 “Credentials” 섹션으로 이동합니다.
    • “New Credential” 버튼을 클릭합니다.
    • Credential Type으로 “AWS S3”를 선택합니다. (MinIO는 S3 호환 서비스이므로 이 옵션을 사용합니다.)
  3. 크리덴셜 세부 정보 입력
    • Access Key ID와 Secret Access Key: 이 두 정보는 MinIO 서버의 사용자 계정에서 생성할 수 있습니다. MinIO 관리 콘솔이나 사용중인 커맨드라인 도구(mc 등)를 통해 이를 생성하고 확인할 수 있습니다.
    • Region: MinIO는 리전 설정을 크게 사용하지 않지만, 호환성을 위해 'us-east-1' 등 임의의 값 설정이 가능합니다.
    • S3 Endpoint: 여기에는 MinIO 서버의 URL을 입력합니다. 예를 들어, http://localhost:9000 또는 설정한 도메인 주소가 될 수 있습니다.
  4. 버킷 설정
    • n8n 워크플로우 에디터에서 S3 노드를 워크플로우에 추가합니다.
    • 생성한 크리덴셜을 사용하도록 노드를 설정합니다.
    • 필요한 버킷 이름을 입력하고, 필요한 작업을 설정합니다 (예: 파일 업로드, 리스트 가져오기 등).
  5. 워크플로우 실행 및 테스트
    • 설정한 모든 정보가 정확한지 확인하고, 워크플로우를 실행하여 MinIO와의 연동을 테스트합니다.

이 단계를 통해 n8n과 MinIO를 연동할 수 있으며, 이를 통해 파일을 저장하거나 검색하는 다양한 자동화 작업을 설정할 수 있습니다. MinIO와의 통신이 정상적으로 작동하는지 확인하기 위해, 간단한 파일 업로드나 리스트 조회 등의 테스트를 수행하는 것이 좋습니다.

728x90
저작자표시 비영리 동일조건

관련글

댓글

티스토리툴바