서버구축 (WEB,DB)433 728x90 Qwen3-30B를 라즈베리 파이에서 실시간으로 돌린 방법과 의미 MoE·양자화·ShapeLearn: 라즈베리 파이에서 30B LLM이 가능한 이유메모리를 ‘예산’으로 본 LLM 최적화: Pi에서 30B 실시간 추론 사례ShapeLearn 기반 비트 최적화로 본 엣지 LLM 성능 한계 돌파라즈베리 파이에서 30B가 “실시간”이라니보통 30B급 LLM은 메모리(가중치 적재) + 연산(토큰 생성) 때문에 데스크톱 GPU/서버 쪽 영역으로 여겨졌습니다.그런데 ByteShape는 Qwen3-30B-A3B-Instruct-2507를 Raspberry Pi 5 16GB에서,8.03 TPS(tokens/sec)BF16 대비 품질 94.18% 유지로 “실시간 대화처럼 느껴지는” 구간을 넘겼다고 밝힙니다.ByteShape가 강조하는 핵심 메시지는 이거예요.메모리는 목표가 아니라 ‘예산.. 2026. 1. 10. Vite 기반 프론트엔드 서비스 Dev 서버와 운영 배포 환경 분리의 아키텍처 Vite dev 모드 vs prod(운영) 환경을 “동작 원리 → 구성/배포 → 보안 관점 → 점검 체크리스트 → 예시”까지 정리합니다.(React+TSX 기준으로 설명하지만 Vue/Svelte도 핵심은 동일합니다.)Vite가 “서비스”하는 대상은 뭔가요?개발 소스(원본)src/**/*.ts, src/**/*.tsxsrc/main.tsx, src/App.tsx, components/* 등Vite가 브라우저에 제공하는 방식은 “모드”에 따라 다릅니다dev 모드: 원본 구조를 유지한 채 모듈(ESM) 단위로 실시간 변환해서 제공prod 모드(build): 원본을 번들/압축/최적화해서 dist/ 정적 파일로 생성 후 제공Vite Dev 모드 (개발 서버) – 동작 원리핵심 컨셉: “번들링 없이 ESM로 바로 .. 2025. 12. 31. Kong API Gateway 권한 모델 설계 Consumer·Key·ACL 그룹 기반 제어 ✅ Kong에서 API 호출 주체(Consumer)를 식별하고✅ Route(=라우터) / Service 단위로 접근 권한(인가)을 그룹 기반으로 제어하며✅ 필요 시 Key-Auth(JWT) 등 인증 플러그인 + ACL 플러그인 조합으로 운영한다.핵심 개념 정리: Consumer / Route / Service / Plugin1. Consumer는 “누가 호출하는가”Consumer는 “사람”일 수도 있고 “애플리케이션/연동 시스템”일 수도 있습니다.실무에서는 대개 연동 앱/서비스 1개 = Consumer 1개가 운영이 편합니다.(사람 단위 Consumer는 관리량이 폭증)2. Route/Service는 “어디로 들어오는가 / 어디로 보내는가”Route: 외부 요청 매칭 규칙(경로/호스트/메서드 등)Serv.. 2025. 12. 24. 보안 지식그래프 데이터 모델링 구축 SPARQL로 묻고 Neo4j로 분석 🛡️ 정책을 ‘추론 가능하게’ 만들기: OWL·Reasoner·그래프DB 적용 전략🧭 Vocabulary → Policy → Detection: 온톨로지 기반 보안 운영 체계📚 조직의 공통 언어 만들기: Vocabulary Ontology 실전 설계와 활용핵심 흐름 전체 큰 그림 한 장으로 보기OWL 파일“의미(semantic)와 관계(relationship), 제약(constraint)”을 표준 형식으로 정의하는 온톨로지 파일Protégé(프로테지)OWL을 GUI로 설계/편집/검증(Reasoner) 하는 대표 툴Vocabulary Ontology조직이 공통으로 쓰는 “용어의 의미와 관계”를 표준화하는 뼈대(정책/탐지/자동화가 흔들리지 않게 만드는 기준어)SPARQL(스파클)RDF/OWL 기반의 그.. 2025. 12. 19. LLM 에이전트의 숨은 백엔드, MCP 서버로 연결하는 자동화 시대 MCP 서버 개념과 현재 표준 현황💡 MCP(Model Context Protocol) 은 LLM이 외부 시스템(파일, DB, 클라우드, 보안 장비 등)에 표준화된 방식으로 접근하게 해주는 공개 표준입니다. Claude, ChatGPT, Cursor 같은 도구들이 MCP 서버에 붙어서 “도구 호출”을 하는 구조죠. (Model Context Protocol)🧩 MCP는 크게 세 가지 역할로 나눌 수 있습니다.호스트(Host) – Claude Desktop, ChatGPT, Cursor 같은 MCP 클라이언트서버(Server) – 특정 시스템 또는 API를 MCP 형식으로 감싼 백엔드툴(Tool) – 서버 내에서 노출되는 실제 기능(예: run_playbook, list_firewall_policies.. 2025. 12. 12. 이전 1 2 3 4 ··· 87 다음 728x90 728x90
