indexing5 728x90 AI 시대의 핵심 인프라, 벡터 DB 운영 Milvus 중심 자가 구축 실무 가이드 벡터 데이터베이스란?벡터 데이터베이스는 고차원 벡터 데이터를 저장하고 유사성 검색을 수행하는 특수한 데이터베이스입니다. AI/ML 애플리케이션에서 텍스트, 이미지, 오디오, 비디오 등의 비정형 데이터를 벡터로 변환하여 저장하고, 코사인 유사도, 유클리드 거리 등을 통해 의미적으로 유사한 데이터를 빠르게 검색할 수 있습니다.벡터 데이터베이스의 핵심 구성 요소벡터 임베딩(Vector Embedding): 비정형 데이터를 수치 벡터로 변환인덱싱 시스템: 고차원 벡터의 빠른 검색을 위한 색인 구조유사성 측정: 벡터 간의 거리/유사도 계산 알고리즘저장 엔진: 대용량 벡터 데이터의 효율적 저장쿼리 엔진: 벡터 검색 및 필터링 처리주요 벡터 데이터베이스 솔루션 비교1. 오픈소스 솔루션Milvus특징클라우드 네이티브 .. 2025. 5. 30. Cursor로 코딩개발 생산성을 혁신하는 AI IDE 기능, 설정 및 효과적인 활용법 Cursor(The AI Code Editor)는 VS Code를 기반으로 구축된 AI 기반 통합 개발 환경(IDE)으로, LLM(Large Language Models)을 활용하여 개발자의 생산성을 획기적으로 향상시키는 것을 목표로 합니다. 기존의 코드 에디터 기능에 AI의 강력한 지원을 결합하여 코드 작성, 수정, 디버깅, 탐색 등 전체 개발 프로세스를 가속화합니다.Cursor의 철학AI 강화 개발: 인공지능을 활용해 반복적이고 지루한 코딩 작업을 자동화프로그래머 중심 설계: 개발자의 사고방식과 워크플로우에 맞춰 설계컨텍스트 인식: 코드베이스 전체를 이해하고 관련 컨텍스트를 활용유연성과 제어: 개발자가 AI의 동작을 세밀하게 제어 가능GitHub Copilot과의 차별점단일 라인 자동 완성을 넘어 여.. 2025. 5. 11. Elasticsearch 8.5.3 → 8.15.3 롤링 업그레이드 체크리스트 및 단계별 절차 Elasticsearch 클러스터를 8.5.3에서 8.15.3으로 업그레이드하는 체크리스트 및 단계별 절차입니다. 업그레이드는 클러스터의 가용성을 유지하며, 서비스 중단 없이 진행할 수 있도록 롤링 업그레이드 방식을 사용합니다. 각 단계는 사전 준비, 업그레이드 작업, 이후 정상 확인으로 구성됩니다.1. 업그레이드 전 기본 체크1.1 클러스터 상태 및 사전 체크클러스터 상태 확인: green 상태인지 확인합니다. 클러스터 상태가 yellow 또는 red일 경우 업그레이드를 진행하기 전 문제를 해결해야 합니다.curl -X GET "localhost:9200/_cluster/health?pretty"백업 수행: 예상치 못한 데이터 손실을 방지하기 위해 모든 데이터의 스냅샷을 생성합니다.curl -X PUT.. 2025. 1. 6. Elasticsearch 영구적인 RDBMS 구성으로 전통적인 CRUD 작업 수행 Elasticsearch에서 로그 데이터를 저장하고 일정 기간이 지나면 자동으로 삭제되는 방식과는 다르게, 영구적으로 데이터를 저장하고 RDBMS처럼 검색하고 활용하는 방법에 대해 설명드리겠습니다.인덱스 설정 및 매핑 구성영구적으로 데이터를 저장하려면 인덱스의 매핑과 설정을 적절히 구성해야 합니다. 특히, 로그 방식과는 다르게, 검색 및 분석에 최적화된 매핑을 설정하는 것이 중요합니다.PUT /my_persistent_index{ "settings": { "number_of_shards": 1, "number_of_replicas": 1 }, "mappings": { "properties": { "timestamp": { "type": "date" },.. 2024. 8. 2. Elasticsearch Bulk 통한 indexing 중 Limit of total fields 오류 해결 elasticsearch7.helpers.errors.BulkIndexError: ('26 document(s) failed to index.', 이하생략 이 오류는 Elasticsearch에 문서를 색인하려고 할 때 발생한 문제로, 총 필드 수 제한을 초과했다는 것을 나타냅니다. 에러 메시지에서 "Limit of total fields [10000] has been exceeded while adding new fields [2]"라고 나와 있습니다. Elasticsearch에서는 기본적으로 한 인덱스 내 전체 필드 수를 10000개로 제한하고 있으며, 현재 추가하려는 문서에서는 2개의 새로운 필드를 추가하려다가 이 제한을 초과하게 되었습니다. 이 문제를 해결하기 위해서는 몇 가지 방법이 있습니다. 필.. 2024. 1. 30. 이전 1 다음 728x90 728x90
