본문 바로가기

load3

아파치 플링크(Apache Flink) 스트림 프로세싱 프레임워크 구성 Apache Flink 개요Apache Flink는 고성능, 저지연, 그리고 분산 스트리밍 데이터 처리 시스템입니다. Flink는 실시간 스트리밍 데이터와 배치 데이터를 모두 처리할 수 있는 유연한 플랫폼을 제공합니다. 주로 실시간 분석, 데이터 파이프라인, ETL(Extract, Transform, Load) 작업, 이벤트 기반 애플리케이션 등에 사용됩니다.주요 특징저지연 스트리밍 처리: Flink는 이벤트가 발생하는 즉시 데이터를 처리할 수 있습니다.높은 처리량: 분산 시스템 구조로 인해 대규모 데이터도 빠르게 처리할 수 있습니다.상태 관리: Flink는 상태 기반의 스트리밍 작업을 지원하며, 상태를 효율적으로 관리할 수 있는 기능을 제공합니다.유연한 API: DataStream API와 DataSe.. 2024. 7. 9.
GitLab Image Importer 저장소에 도커 이미지 저장 및 사용 GitLab의 Image Importer 저장소에서 Docker 이미지를 가져와서 저장하고, 해당 이미지를 사용하여 운영 시스템에서 컨테이너를 실행하는 과정을 단계별로 설명하겠습니다. 이를 위해서는 다음 단계를 따르면 됩니다. Image Importer 저장소에서 Docker 이미지 가져오기 GitLab의 Image Importer 저장소에서 원하는 Docker 이미지를 가져옵니다. 아래 명령어는 이미지를 클론하는 예시입니다. git clone https://gitlab.com/.git 저장소로 이동합니다. cd Docker 이미지 빌드 저장소 내에 있는 Dockerfile을 사용하여 이미지를 빌드합니다.여기서 은 원하는 이미지의 이름이고 는 이미지의 버전 또는 태그입니다. docker build -t .. 2024. 1. 22.
Dstat: Versatile resource statistics tool Screenshot 1 [dag@moria ~]$ dstat --help Usage: dstat [-afv] [options..] [delay [count]] Versatile tool for generating system resource statistics Dstat options: -c, --cpu enable cpu stats -C 0,3,total include cpu0, cpu3 and total -d, --disk enable disk stats -D total,hda include hda and total -g, --page enable page stats -i, --int enable interrupt stats -I 5,eth2 include int5 and interrupt used .. 2009. 10. 20.