본문 바로가기

서버구축 (WEB,DB)388

728x90
데이터 엔지니어링 엔드투엔드(End-to-End) 프로젝트 기술 스택 개요1. Apache Airflow개요: Apache Airflow는 워크플로우 자동화 및 스케줄링 도구로, 복잡한 데이터 파이프라인을 정의, 스케줄링 및 모니터링할 수 있습니다.활용 예시데이터 파이프라인을 정의하는 DAG(DAG: Directed Acyclic Graph) 생성DAG를 사용한 데이터 처리 작업 스케줄링Airflow UI를 통해 작업 상태 모니터링2. Apache Zookeeper개요: Apache Zookeeper는 분산 시스템을 위한 중앙 집중형 서비스로, 구성 정보를 관리하고, 분산 시스템의 동기화 및 그룹 서비스를 제공합니다.활용 예시Kafka 클러스터 설정 및 관리분산 시스템의 노드 상태 모니터링 및 구성 정보 저장3. Apache Kafka개요: Apache Kafk.. 2024. 7. 29.
MariaDB(MySQL)에 Audit Plugin 적용하는 방법 MariaDB에서 서버 감사 로그를 설정하여 내부 사용자 계정의 모든 쿼리 수행 내역을 기록하려면 다음 단계를 따라야 합니다. 여기에서는 server_audit 플러그인을 사용하여 쿼리 수행 내역을 기록하는 방법을 설명하겠습니다.1. 플러그인 디렉토리 확인MariaDB 서버의 플러그인 디렉토리를 확인합니다.SHOW GLOBAL VARIABLES LIKE 'plugin_dir';출력된 경로는 플러그인이 설치될 위치를 나타냅니다. 예: /usr/lib64/mysql/plugin/2. MariaDB Audit Plugin 다운로드 및 설치2.1 다운로드 및 설치MariaDB Audit Plugin을 다운로드하고 플러그인 디렉토리에 복사합니다.wget https://downloads.mariadb.com/Aud.. 2024. 7. 28.
Rancher Desktop 활용하여 격리 및 통제된 컨테이너 개발환경 구성 Rancher Desktop은 Kubernetes 및 Docker 환경을 로컬에서 쉽게 설정하고 관리할 수 있도록 도와주는 오픈 소스 도구입니다. 다음은 Rancher Desktop의 주요 특징과 기능에 대한 설명입니다.주요 특징로컬 Kubernetes 클러스터: Rancher Desktop은 로컬에서 Kubernetes 클러스터를 쉽게 실행하고 관리할 수 있게 해줍니다. 사용자는 단일 노드 Kubernetes 클러스터를 간편하게 설정할 수 있으며, 클러스터 설정과 관리 작업을 직관적인 UI를 통해 수행할 수 있습니다.Docker 지원: Rancher Desktop은 Docker를 기본적으로 지원하며, Docker 이미지의 빌드 및 실행을 로컬 환경에서 쉽게 할 수 있습니다. Docker CLI와 호환되.. 2024. 7. 24.
Kibana Alerting 복잡한 조건을 체크 및 알람 n8n 자동화 연동 n8n을 사용하여 Kibana와 연동하여 복잡한 조건을 체크하고 알람을 설정하는 자동화 프로세스를 구축하는 것은 좋은 선택입니다. n8n은 데이터를 수집, 처리, 모니터링 및 자동화할 수 있는 강력한 워크플로 자동화 도구입니다. 여기에 Kibana와의 연동을 포함하는 프로세스를 설명하겠습니다.1. n8n 환경 설정n8n을 설치하고 실행해야 합니다. n8n은 Docker, npm, 또는 바이너리 파일을 통해 설치할 수 있습니다.2. Kibana에서 데이터 접근 설정Kibana에서 데이터를 검색하려면 Elasticsearch의 API를 사용할 수 있습니다. 이를 위해서는 Kibana가 설치된 서버에서 API 접근이 가능하도록 설정해야 합니다. 보안을 위해 API 키를 생성하거나 HTTP 인증을 설정할 수 있.. 2024. 7. 16.
Grafana와 Superset 연계하여 통합된 차트 대시보드 시각화 방법 Grafana와 Apache Superset을 연계하여 대시보드를 구성하는 방법은 데이터를 시각화하고 모니터링하는데 매우 유용합니다. 두 도구를 통합하면 각 도구의 장점을 최대한 활용할 수 있습니다.Grafana와 Superset 설치도구를 설치해야 합니다. 각 도구의 공식 문서를 참고하여 설치를 완료합니다.Grafana 설치 가이드Apache Superset 설치 가이드데이터 소스 구성Grafana와 Superset에 동일한 데이터 소스를 구성합니다. 예를 들어, MySQL, PostgreSQL, ClickHouse 등 여러 데이터베이스를 사용할 수 있습니다.GrafanaGrafana에 로그인 후, 'Configuration' > 'Data Sources'로 이동합니다.'Add data source'를.. 2024. 7. 10.
728x90
728x90

티스토리툴바