본문 바로가기

분류 전체보기2893

Elasticsearch 영구적인 RDBMS 구성으로 전통적인 CRUD 작업 수행 Elasticsearch에서 로그 데이터를 저장하고 일정 기간이 지나면 자동으로 삭제되는 방식과는 다르게, 영구적으로 데이터를 저장하고 RDBMS처럼 검색하고 활용하는 방법에 대해 설명드리겠습니다.인덱스 설정 및 매핑 구성영구적으로 데이터를 저장하려면 인덱스의 매핑과 설정을 적절히 구성해야 합니다. 특히, 로그 방식과는 다르게, 검색 및 분석에 최적화된 매핑을 설정하는 것이 중요합니다.PUT /my_persistent_index{ "settings": { "number_of_shards": 1, "number_of_replicas": 1 }, "mappings": { "properties": { "timestamp": { "type": "date" },.. 2024. 8. 2.
Grafana 서비스를 서브 URL 방식으로 복수 인스턴스 운영 서브 URL로 Grafana를 서비스하기 위해 Grafana의 root_url을 설정하고, Nginx를 리버스 프록시로 구성하는 방법을 설명하겠습니다. 이는 Kubernetes의 Ingress나 다른 프록시 설정에서 유용할 수 있습니다.Docker Compose 파일 구성먼저 docker-compose.yml 파일을 작성하여 Grafana와 Nginx 컨테이너를 설정합니다.version: '3.8'services: grafana: image: grafana/grafana:latest container_name: grafana ports: - "3000:3000" volumes: - grafana-data:/var/lib/grafana - ./grafana.. 2024. 8. 1.
Nginx 캐시 서버 구축 및 운영 시 필요한 다양한 설정 방법 루트 경로 /에 대해서만 캐시를 완전히 비활성화하고, 다른 경로에 대해서는 기본 캐시 설정을 유지하려면, Nginx의 location 블록을 정확히 지정하여 설정할 수 있습니다. 다음은 이러한 설정을 구현하는 방법의 설정 예시입니다.http { server { listen 80; server_name example.com; # 정확히 루트 경로에 대한 설정 location = / { root /usr/share/nginx/html; index index.html index.htm; expires -1; add_header Cache-Control "no-store, no-.. 2024. 7. 31.
소프트웨어 공급망 보안 가이드라인 1.0 발표 부제: 소프트웨어 공급망 보안 국제동향 및 소프트웨어 구성명세서(SBOM) 활용사례국산 소프트웨어에 소프트웨어 구성명세서(SBOM) 실증결과를 반영한 가이드라인(지침) 마련디지털플랫폼정부 시스템 등에 소프트웨어 공급망 보안을 시범적용하고, 중소기업 소프트웨어 공급망 보안 역량 강화 지원 확대해외동향과 국내 준비상황을 면밀히 살피면서 제도화 준비과학기술정보통신부(이하 ‘과기정통부’), 국가정보원(이하 ‘국정원’), 디지털플랫폼정부위원회(이하 ‘디플정위’)는 민관 협력을 통해 ‘SW 공급망 보안 가이드라인 1.0 (이하 ‘가이드라인’)’을 마련했다고 밝혔다. 가이드라인은 과기정통부, 국정원, 디플정위와 한국인터넷진흥원(KISA), 정보통신산업진흥원(NIPA), 한국정보보호산업협회(KISIA) 등 정부·공공기.. 2024. 7. 30.
데이터 엔지니어링 엔드투엔드(End-to-End) 프로젝트 기술 스택 개요1. Apache Airflow개요: Apache Airflow는 워크플로우 자동화 및 스케줄링 도구로, 복잡한 데이터 파이프라인을 정의, 스케줄링 및 모니터링할 수 있습니다.활용 예시데이터 파이프라인을 정의하는 DAG(DAG: Directed Acyclic Graph) 생성DAG를 사용한 데이터 처리 작업 스케줄링Airflow UI를 통해 작업 상태 모니터링2. Apache Zookeeper개요: Apache Zookeeper는 분산 시스템을 위한 중앙 집중형 서비스로, 구성 정보를 관리하고, 분산 시스템의 동기화 및 그룹 서비스를 제공합니다.활용 예시Kafka 클러스터 설정 및 관리분산 시스템의 노드 상태 모니터링 및 구성 정보 저장3. Apache Kafka개요: Apache Kafk.. 2024. 7. 29.
728x90