본문 바로가기

서버구축 (WEB,DB)388

728x90
아파치 플링크(Apache Flink) 스트림 프로세싱 프레임워크 구성 Apache Flink 개요Apache Flink는 고성능, 저지연, 그리고 분산 스트리밍 데이터 처리 시스템입니다. Flink는 실시간 스트리밍 데이터와 배치 데이터를 모두 처리할 수 있는 유연한 플랫폼을 제공합니다. 주로 실시간 분석, 데이터 파이프라인, ETL(Extract, Transform, Load) 작업, 이벤트 기반 애플리케이션 등에 사용됩니다.주요 특징저지연 스트리밍 처리: Flink는 이벤트가 발생하는 즉시 데이터를 처리할 수 있습니다.높은 처리량: 분산 시스템 구조로 인해 대규모 데이터도 빠르게 처리할 수 있습니다.상태 관리: Flink는 상태 기반의 스트리밍 작업을 지원하며, 상태를 효율적으로 관리할 수 있는 기능을 제공합니다.유연한 API: DataStream API와 DataSe.. 2024. 7. 9.
Elasticsearch 버킷 제한 too_many_buckets_exception 문제 해결 Elasticsearch 검색 쿼리가 실행될 때 너무 많은 버킷을 생성하려고 시도하면 제한을 초과했다는 오류 메세지가 발생합니다. 여기서 "버킷"은 특정 필드의 값이나 범위에 따라 문서를 그룹화하는 데 사용되는 데이터 구조를 말합니다. 이 문제를 해결하는 방법은 몇 가지가 있습니다.쿼리 최적화: 너무 많은 버킷을 생성하지 않도록 쿼리를 조정합니다. 예를 들어, 집계(aggregations)의 범위를 줄이거나, 필요하지 않은 집계를 제거합니다.search.max_buckets 설정 변경: Elasticsearch 클러스터 설정에서 search.max_buckets 값을 늘려서 허용되는 최대 버킷 수를 증가시킬 수 있습니다. 하지만 이 방법은 메모리 사용량이 증가할 수 있으므로 주의해서 사용해야 합니다.PU.. 2024. 7. 7.
Redis 메모리 확인하고 관리하는 명령어와 데이터 영구 저장 및 백업 Redis 데이터를 확인하고 관리하는 방법에는 몇 가지가 있습니다. Redis는 기본적으로 커맨드라인 인터페이스인 redis-cli를 제공하여 데이터를 직접 쿼리하고 조작할 수 있게 해줍니다. 또한, 웹 기반 UI를 통해 보다 시각적으로 데이터를 관리하고 모니터링할 수 있는 도구들도 존재합니다. 여기에 몇 가지 인기 있는 옵션을 소개합니다.Redis-cliRedis 서버에 직접 연결하여 데이터를 조회하고 관리할 수 있는 커맨드라인 도구입니다. 예를 들어, 모든 키를 조회하려면 KEYS * 커맨드를 사용할 수 있습니다. 특정 키의 값을 확인하려면 GET keyname을 사용합니다.RedisInsightRedis Labs에서 제공하는 공식 Redis 관리 도구입니다. 이 툴은 사용자가 Redis 인스턴스를 .. 2024. 7. 6.
Argo CD 사용자 계정 및 기본 설정과 Gitlab 연동으로 자동화 운영 Argo CD 초기 설치 후 기본계정 외 사용자 계정을 추가하는 방법입니다. 여기서는 CLI를 사용한 방법과 Argo CD의 사용자 관리 기능에 대해 설명하겠습니다.CLI를 통한 사용자 추가: Argo CD CLI를 사용하여 사용자를 추가할 수 있습니다. 이 방법은 주로 Argo CD 서버의 관리자가 사용합니다. 예를 들어, 새로운 사용자를 추가하려면 다음과 같은 명령어를 사용할 수 있습니다:이 명령은 새 사용자를 시스템에 추가합니다. 단, 이 방법은 Argo CD가 RBAC로 설정되어 있어야 하며, 사용자를 올바르게 관리할 수 있는 권한이 설정되어 있어야 합니다.argocd account add-user --password Argo CD 웹 인터페이스를 통한 사용자 관리: Argo CD는 웹 인터페이.. 2024. 7. 5.
Minikube(k8s) 환경 Ingress Nginx 컨트롤러 고급 옵션 활성화 사용법 Minikube에서 ingress-nginx를 사용하고 allow-snippet-annotations의 기본값을 true로 설정하는 방법을 다루겠습니다. Minikube는 ingress-nginx를 플러그인으로 쉽게 설치할 수 있으며, 설정을 커스터마이즈하기 위해서는 일부 추가 단계가 필요합니다.1단계: Minikube에 ingress-nginx 설치Minikube에 ingress-nginx를 설치합니다. 다음 명령어를 사용하여 Minikube에 Ingress 컨트롤러를 활성화할 수 있습니다.minikube addons enable ingress2단계: ConfigMap 수정ingress-nginx의 설정을 변경하기 위해 ConfigMap을 수정해야 합니다. 이를 위해 먼저 기존의 ConfigMap을 수.. 2024. 7. 2.
728x90
728x90

티스토리툴바