ollama2 728x90 Mac Mini로 로컬 AI 완성하기: Swap, Ollama, Metal 최적화 가이드 맥미니에서 LLM이 어려운 이유LLM 리소스 특성모델필요 메모리qwen:7B약 4~8GBgemma:7B약 4~8GBqwen:14B10~16GBllama3:8B6~10GB👉 문제맥미니 8GB / 16GB → 부족macOS 메모리 흐름RAM 사용Memory CompressionSwap 사용👉 LLM은메모리 압축 효과 낮음swap 사용 시 속도 매우 느림Swap 관점 전략전략 1: swap “활용”이 아니라 “버티기 용도”👉 목표swap = fallbackRAM = 실제 실행전략 2: swap 모니터링 필수vm_stat 1sysctl vm.swapusage전략 3: swap 발생 시 판단 기준상태대응swap 정상swap 증가 지속모델 과도swap + CPU 100%다운그레이드 필요LLM 운영 구조 설계?.. 2026. 4. 12. OpenAI 오픈소스 LLM 모델 GPT-OSS 공개로 로컬에서 자유롭게 활용 OpenAI는 두 가지 강력한 오픈 웨이트(open-weight) 언어 모델을 출시하며 오픈소스 AI 생태계에 큰 전환점을 만들었습니다. 이 두 모델은 다음과 같습니다.gpt-oss-120b: o4-mini 수준의 성능을 갖춘 대규모 모델gpt-oss-20b: o3-mini 수준의 성능을 갖춘 경량 모델GPT-OSS 모델이란?GPT-OSS는 OpenAI에서 공개한 최초의 GPT-2 이후 오픈 웨이트(가중치 공개) 언어 모델입니다. 목적은 다음과 같습니다.고성능 + 저비용 추론 제공Apache 2.0 라이선스 기반의 자유로운 커스터마이징 및 상업적 활용로컬 추론, 에이전트 워크플로우, 도구 호출, 함수 실행 등을 지원모델 신뢰성과 안전성을 확보한 철저한 보안 평가 완료모델 사양 및 아키텍처모델계층총 파라미.. 2025. 8. 7. 이전 1 다음 728x90 728x90
