본문 바로가기

분류 전체보기3145

728x90
대량 데이타 실시간 처리 분산 메시징 시스템 Kafka 구조 및 구성 Apache Kafka는 대용량의 데이터를 안정적으로 수집, 저장 및 처리하기 위한 분산 스트리밍 플랫폼입니다. 주로 대규모 데이터의 실시간 스트리밍 및 이벤트 처리에 사용되며, 여러 소비자에게 데이터를 안전하게 전달할 수 있는 메시징 시스템의 역할을 합니다. 주요 특징 분산 아키텍처: Kafka는 여러 브로커로 구성된 분산 아키텍처를 가지며, 데이터를 여러 노드에 분산하여 안정성과 확장성을 제공합니다. 토픽 기반 메시지 큐: 데이터는 토픽(topic)이라는 카테고리로 구분되며, 생산자(producer)가 메시지를 생성하고, 소비자(consumer)가 해당 토픽에서 메시지를 구독하여 처리합니다. 내결함성: 브로커 중 하나가 실패해도 데이터의 유실 없이 안전하게 처리할 수 있도록 내결함성을 제공합니다. 확.. 2023. 12. 8.
분산 애플리케이션 코디네이션 용도로 Zookeeper 시스템 구성 Zookeeper는 분산 환경에서 시스템 간의 조정 및 동기화를 담당하는 오픈 소스 분산 서비스입니다. 주로 대규모 분산 시스템에서의 데이터 관리, 복제, 선택, 리더 선출 등의 작업을 처리합니다. 이는 클러스터 내 각 노드 간의 정보를 안전하게 유지하고 서비스의 일관성을 보장하는 데 중요합니다. Zookeeper의 주요 특징 Coordination Service: Zookeeper는 여러 서버 간의 조정 및 동기화 서비스를 제공하여 데이터 일관성을 유지합니다. Atomic Broadcast: Zookeeper는 데이터를 일관되게 배포하는 데 사용되는 원자적 브로드캐스트 메커니즘을 제공합니다. Consensus: Zookeeper는 분산 시스템에서의 일관성을 위해 투표 기반의 합의 알고리즘을 사용합니다... 2023. 12. 7.
Ubuntu 패키지 관리 apt-get 명령어 GPG keyring 키파일 갱신 # apt update Hit:1 https://download.docker.com/linux/ubuntu jammy InRelease Hit:2 http://security.ubuntu.com/ubuntu jammy-security InRelease Hit:3 http://archive.ubuntu.com/ubuntu jammy InRelease Hit:4 http://archive.ubuntu.com/ubuntu jammy-updates InRelease Hit:5 https://ppa.launchpadcontent.net/deadsnakes/ppa/ubuntu jammy InRelease Hit:6 http://archive.ubuntu.com/ubuntu jammy-backports InRelea.. 2023. 12. 6.
Kubernetes 리소스 정의하는 apply, edit, patch 다양한 해결방법 Kustomize는 Kubernetes 객체의 CLI 구성 관리자로, 레이어링을 활용하여 애플리케이션의 기본 설정을 보존합니다. 이는 원본 매니페스트를 실제로 수정하지 않고도 선언적 YAML 아티팩트를 오버레이하여 기본 설정을 덮어쓰는 방식으로 이루어집니다. Kustomize는 또한 kubectl과 통합되어 있습니다. Kustomize는 Kubernetes 리소스 및 필드를 인식하며 다른 도구들과 달리 단순한 텍스트 템플릿 솔루션이 아닙니다. Kustomize를 사용하면 하나의 기본 파일을 모든 환경 (개발, 스테이징, 프로덕션 등)에서 재사용하고 각 환경에 대한 오버레이 사양을 적용할 수 있습니다. 또한 Kustomize는 Helm 및 Argo CD와 같은 CD 솔루션과 함께 사용할 수 있습니다. Ku.. 2023. 12. 5.
Nginx Ingress Controller Backend HTTP and HTTPS 서비스 혼합(both) NGINX Ingress 컨트롤러를 사용 중이라면, nginx.ingress.kubernetes.io/backend-protocol: "HTTPS"은 작동하지 않습니다. 그러나 nginx.org/ssl-services는 백엔드에서 TLS를 필요로 하는 서비스를 선택할 수 있게 해줍니다. 이름이 혼동스러울 수 있어서 실제 목적을 깨닫기까지 시간이 걸릴 수 있습니다. 이것은 NGINX 하부에서 사용되는 표준 Kubernetes Ingress 컨트롤러에서는 작동하지 않으며, NGINX 원본 컨트롤러에서만 작동합니다. 참고: https://docs.nginx.com/nginx-ingress-controller/configuration/ingress-resources/advanced-configuration-wi.. 2023. 12. 4.
728x90
728x90

티스토리툴바