본문 바로가기

서버구축 (WEB,DB)430

728x90
Superset으로 BI, Grafana로 Observability: 데이터 분석과 모니터링 통합 운영 환경 기준(보안·가용성·운영 편의성) Docker Compose로 빠르게 시작하고, Kubernetes/Helm으로 확장하는 패턴을 권장합니다. Grafana와의 연계는 “데이터 소스 공유, SSO 통합, 리버스 프록시로의 경로 통합, 임베드/링킹” 순으로 점진 적용을 추천드립니다.Superset vs Grafana, 언제/어떻게 같이 쓰나?Superset: SQL 기반 탐색형 BI/대시보드에 강함. 데이터셋(가상 테이블), 차트 조립, 대시보드 퍼블리시, 리치한 슬라이싱/필터.Grafana: 시계열/인프라/로그 관측성에 강함. 수많은 데이터소스 플러그인, 알러팅과 실시간 지표에 강함.함께 쓰기 활용사례동일 데이터(예: DW/레이크/OLAP)를 각 도구에 맞게 시각화Grafana로 운영 모니터링/알.. 2025. 8. 18.
Wazuh & Osquery 보안 에이전트 패키지 배포 내부 yum 저장소 구축 osquery와 wazuh agent 패키지를 로컬 시스템에 미러링하고, 내부 시스템에서 yum을 통해 설치/업데이트할 수 있는 도커 기반 환경을 구축하는 방법입니다.패키지 미러링 시스템 아키텍처디렉토리 구조repo-mirror/├── docker-compose.yml├── nginx/│ ├── Dockerfile│ └── nginx.conf├── sync/│ ├── Dockerfile│ ├── sync-repos.sh│ └── crontab├── data/│ ├── repos/│ │ ├── wazuh/│ │ └── osquery/│ └── gpg-keys/└── scripts/ └── init-repos.shDocker Compose 구성docker-comp.. 2025. 8. 8.
LlamaParser + LangChain + Vector DB로 완성하는 RAG 문서형 AI 챗봇 왜 문서 기반 챗봇인가?오늘날 대부분의 기업 정보는 아래와 같은 형태로 존재합니다.📄 PDF 제품 매뉴얼📊 Excel 실적 보고서📑 내부 정책 문서 (Word)🖼️ 이미지 포함된 PPT 발표자료이러한 비정형 문서들은 단순 텍스트가 아니기 때문에, AI가 직접 이해하기 어렵습니다.→ 그래서 문서 → 정제된 텍스트 → 벡터화 → 검색 기반 AI 응답이라는 전체 파이프라인이 필요합니다.전체 파이프라인 구성도문서 업로드 → LlamaParser 파싱 → LangChain 분할 → 임베딩 → 벡터 DB 저장 → 질문 임베딩 → 벡터 검색 → RAG 응답 생성1️⃣ 문서 업로드 └── PDF, PPT, Word, Excel 등 다양한 포맷의 비정형 문서 ↓2️⃣ 문서 파싱 (LlamaPa.. 2025. 8. 3.
Unregistry & docker pussh: 개발자 친화형 초경량 이미지 레지스트리 Unregistry는 Docker 데몬의 로컬 저장소를 직접 활용하여 이미지를 저장하고 서빙하는 초경량 컨테이너 이미지 레지스트리입니다. 기존 Docker 이미지 배포 방식에 존재하던 불편함을 해소하기 위해 만들어졌으며, 특히 다음과 같은 사용자의 고충을 해결합니다:기존 방식문제점Docker Hub, GHCR 등 퍼블릭 레지스트리코드 노출 위험 또는 유료 구독 필요자체 레지스트리 운영추가 인프라 및 보안 관리 필요docker save; ssh docker load전체 이미지 전송 (중복 레이어 포함)원격 서버에서 재빌드시간 소모, 실패 가능성 ↑🛠️ “그냥 A에서 B로 이미지만 옮기고 싶은데 왜 이렇게 복잡한가요?” → Unregistry + docker pussh가 그 해답입니다.핵심 기능 요약기.. 2025. 8. 2.
실시간 데이터 백엔드 분석법 모듈형 플랫폼 Moose, ClickHouse, Redpanda 구축 기존 데이터 분석 백엔드 구축의 문제점복잡한 인프라: Kafka + ClickHouse + dbt + Airflow + API 서버 각각 관리스키마 불일치: 데이터베이스, API, 메시지 포맷 간 동기화 어려움개발 속도 저하: 로컬 테스트 환경 구축 복잡, 긴 피드백 사이클SQL 중심 개발: 복잡한 비즈니스 로직을 SQL로만 처리하는 한계Moose의 해결책: TypeScript/Python 코드 기반으로 전체 데이터 파이프라인을 통합 관리Moose 아키텍처┌─────────────────┐ ┌──────────────┐ ┌──────────────┐│ Data Sources │────▶│ Moose │────▶│ ClickHouse ││ (API, Kafka) │.. 2025. 7. 25.
728x90
728x90

티스토리툴바