본문 바로가기

Search8

728x90
정규표현식(Regular Expression) 자동화, 로그 분석·보안 필터링·유효성 검사 정규표현식(Regular Expression, 줄여서 Regex 또는 RegExp)은 문자열의 패턴을 표현하는 특수한 문자열입니다. 텍스트에서 특정 패턴을 검색하고, 추출하고, 치환하는 데 사용되는 강력한 도구입니다.복잡한 문자열 패턴을 간결하게 표현거의 모든 프로그래밍 언어에서 지원검색, 유효성 검사, 추출, 치환 등에 활용기본 문법과 구성 요소메타 문자(Meta Characters)문자설명예시.임의의 한 문자a.c → abc, a1c, a@c*앞 문자가 0개 이상ab*c → ac, abc, abbc+앞 문자가 1개 이상ab+c → abc, abbc (ac는 불가)?앞 문자가 0개 또는 1개ab?c → ac, abc^문자열의 시작^Hello → Hello로 시작하는 문자열$문자열의 끝world$ → w.. 2025. 6. 30.
AI 시대의 핵심 인프라, 벡터 DB 운영 Milvus 중심 자가 구축 실무 가이드 벡터 데이터베이스란?벡터 데이터베이스는 고차원 벡터 데이터를 저장하고 유사성 검색을 수행하는 특수한 데이터베이스입니다. AI/ML 애플리케이션에서 텍스트, 이미지, 오디오, 비디오 등의 비정형 데이터를 벡터로 변환하여 저장하고, 코사인 유사도, 유클리드 거리 등을 통해 의미적으로 유사한 데이터를 빠르게 검색할 수 있습니다.벡터 데이터베이스의 핵심 구성 요소벡터 임베딩(Vector Embedding): 비정형 데이터를 수치 벡터로 변환인덱싱 시스템: 고차원 벡터의 빠른 검색을 위한 색인 구조유사성 측정: 벡터 간의 거리/유사도 계산 알고리즘저장 엔진: 대용량 벡터 데이터의 효율적 저장쿼리 엔진: 벡터 검색 및 필터링 처리주요 벡터 데이터베이스 솔루션 비교1. 오픈소스 솔루션Milvus특징클라우드 네이티브 .. 2025. 5. 30.
Elasticsearch에서 Agent 수집된 로그의 유형별 집계 및 관리 방법 Elastic Agent로 수집된 로그 데이터를 Elasticsearch에서 유형별로 집계하고, 최근 30일 간의 일별 카운트를 집계하는 과정을 단계별로 설명합니다. 아래에 제시된 명령어와 옵션은 Kibana의 Dev Tools에서 사용할 수 있습니다.1단계: 데이터 구조 확인Elasticsearch에 저장된 로그 데이터의 필드 구조를 확인해야 합니다.Elastic Agent가 수집한 로그에는 일반적으로 log.type 또는 event.dataset과 같은 필드가 사용됩니다.@timestamp 필드는 로그의 시간 정보를 나타냅니다.샘플 쿼리GET /your-index-pattern-*/_mapping위 명령어를 실행하면 인덱스의 매핑 정보가 반환됩니다. 여기에서 사용할 필드 이름(log.type 또는 e.. 2025. 1. 28.
Vertex AI Search와 Google Cloud Search 서비스 각 기능과 구현 방식 Vertex AI Search와 Google Cloud Search는 각각의 강점과 사용 사례를 가지고 있으며, 기업의 환경과 요구사항에 따라 선택이 달라질 수 있습니다. 두 서비스를 비교하고 각 기능과 구현 방식을 정리합니다.Vertex AI Search특징광범위한 데이터 소스 지원Google Drive뿐만 아니라, 외부 데이터베이스, CRM, CMS 등 다양한 데이터 소스 통합 가능.기업 내부 및 외부 데이터를 모두 통합 검색 가능.고급 AI 및 머신러닝 기반자연어 처리(NLP)와 머신러닝 기술을 활용한 의미 기반 검색.사용자의 의도에 맞는 검색 결과 제공.문서 내용 분석 및 추천문서 내부 키워드 및 문맥을 분석하여 관련 문서를 추천.PDF, Word, Excel 등 다양한 문서 형식 지원.맞춤형 검.. 2025. 1. 12.
n8n에서 Elasticsearch로 직접 쿼리하여 자동화 처리 운영 n8n에서 Elasticsearch로 직접 쿼리하여 최근 날짜의 값을 추출하려면 HTTP Request 노드를 사용하여 Elasticsearch에 쿼리를 보낼 수 있습니다. 다음은 이를 구현하는 예제입니다.HTTP Request 노드 설정Method: POSTURL: http://your_elasticsearch_host:9200/{target_index}-*/_searchHeaders: Content-Type: application/jsonBody: 아래 JSON 형식JSON Body{ "from": 0, "size": 1, "sort": [ { "timestamp": { "order": "desc" } } ], "query": { "bool": .. 2024. 7. 25.
728x90
728x90